機械学習・深層学習

みかん

今回はG検定の第2章「人工知能をめぐる動向」の3節「機械学習・深層学習」を解説します

みかん

機械学習とは、人工知能のプログラム自身がデータから学習する仕組みのことです。コンピュータは与えられたサンプルデータを通してデータに潜むパターンを学習します。

みかん

実はデータの特徴が増えると、学習に必要なデータ量が著しく増加する傾向があります。この現象は「次元の呪い」として知られています。

みかん

十分なデータが蓄積されるまでは、人間がルールを事前に決めておく「ルールベースの手法」が主流でした。特定の用途に特化した場合は非常に高い精度を達成できます。

みかん

2000年以降、インターネットの普及によりデータが十分に蓄積されるようになり、機械学習は「ビッグデータ」というキーワードと共に注目を集めるようになりました。

みかん

ユーザーの好みを推測するレコメンデーションエンジンや迷惑メールを検出するスパムフィルタなども、膨大なサンプルデータを利用できるようになった機械学習によって実用化されたアプリケーションです。

みかん

インターネット上のWebページの爆発的な増加は、自然言語処理を利用したWebページ上の文字を扱う研究を加速させました。その結果、「統計的自然言語処理」という分野の研究が急速に進展しました。

みかん

従来は文法構造を分析して単語単位で訳を割り当てていましたが、統計的自然言語処理では対訳データ（コーパスと呼びます）を大量に持つことで、文脈から確率的に正しい訳を選べるようになったんです。

みかん

機械学習では、「注目すべきデータの特徴」の選び方が性能を決定づけます。注目すべきデータの特徴を量的に表したものを「特徴量」と呼びます。

みかん

例えば、ビールの売り上げ予測に「気温」を特徴量にすれば精度の高い予測ができますが、「店舗の壁の色」を特徴量にしても意味のある予測はできません。売り上げと関係がないからです。

みかん

そして重要なのは、従来の機械学習では特徴量の選択は人間が行うということです。特徴量の選び方は人間の経験と知識に依存する、いわば「職人芸」でした。

みかん

そこで登場したのが「特徴表現学習」というアプローチです。人間の代わりに機械学習自身に特徴量を発見させるんです。

みかん

ディープラーニング（深層学習）は、この「特徴表現学習」を行う機械学習アルゴリズムの1つです。与えられたデータの特徴量を階層化し、それらを組み合わせることで問題を解きます。

みかん

ただし、ディープラーニングはコンピュータが自動的に特徴量を抽出するため、特徴量が何を意味するのか人間には理解できません。これが「判断理由が示せないブラックボックス型の人工知能」と言われるゆえんです。

みかん

ニューラルネットワークは機械学習の1つで、生物の神経回路を真似することで学習を実現しようとするものです。

みかん

1943年、神経生理学者のウォーレン・マカロックと数学者のウォルター・ピッツが、生物の神経細胞を単純化した最初のニューロンモデル「形式ニューロンモデル」を発表しました。

みかん

学習可能なニューロンモデルの元祖は、1958年に米国の心理学者フランク・ローゼンブラットが提案した「パーセプトロン」です。各入力の「重み」を調整することで学習します。

みかん

残念ながら、1969年にマービン・ミンスキーらによって「パーセプトロンは直線で分離できない分類問題に対応できない」という限界が明らかになりました。

みかん

そうです。これが原因で、1940年代から1970年代初期までの「第1次ニューラルネットワークブーム」は終わりを迎えました。

みかん

深く多層化したニューラルネットワークを使って、データに潜む特徴を自動的に学習する手法が「ディープラーニング（深層学習）」です。

みかん

1986年、ラメルハートらが多層パーセプトロンとその学習法「誤差逆伝播法（バックプロパゲーション）」を提案しました。これによりパーセプトロンの限界を解決でき、第2次ニューラルネットワークブームが起きます。

みかん

1979年に福島邦彦がネオコグニトロンというモデルを発表し、1989年にヤン・ルカンがそれと同等のアイデアを採用した「畳み込みニューラルネットワーク」の構造をLeNetと名付け、画像認識ニューラルネットワークの基礎を築きました。

みかん

残念ながら、1992年から1995年にかけてヴァプニクらが開発した「サポートベクターマシン」が機械学習のアプローチとして人気を集め、第2次ニューラルネットワークブームは1990年代中頃に終焉してしまいます。

みかん

しかしブームが去った後も、ニューラルネットワークの可能性を信じる研究者たちによって研究は続けられました。オートエンコーダの研究や活性化関数の工夫などにより、ディープラーニングの躍進が始まります。

みかん

ニューラルネットワークのブームをまとめるとこのようになります。第1次はパーセプトロンの限界で、第2次はSVMの台頭で終わり、第3次が現在進行中です。

みかん

2012年、画像認識の精度を競い合う競技会ILSVRC（ImageNet Large Scale Visual Recognition Challenge）で、トロント大学のジェフリー・ヒントンが率いるSuperVisionが圧倒的な勝利を収めました。

みかん

2位の東大のISIのエラー率を10%以上も引き離し、エラー率15.3%という衝撃的な結果でした。この時に開発されたニューラルネットワークのモデルはAlexNetと呼ばれます。

みかん

それまで画像認識に機械学習を使う際は、特徴量を決めるのは人間でした。SuperVisionの勝因は、ディープラーニングという新しい方法で特徴量を自動的に学習させたことにあります。

みかん

2012年以降、ILSVRCのチャンピオンはすべてディープラーニングを利用しています。画像認識エラーは激減し、2015年には人間の画像認識エラーである4%を抜いたことが大きな話題になりました。

みかん

2022年11月、OpenAIが公開した革新的な対話システム「ChatGPT」がAI界に新たな旋風を巻き起こしました。前例のないスピードでユーザー層を拡大し、「生成AI」という言葉を広く社会に浸透させました。

みかん

ChatGPTは大量の文章を学習しており、文章の次に続く最も適切な単語を確率的に選ぶことが可能です。その選択を次々と繰り返すことで自然な文章を生成できる「生成AI」なのです。

みかん

生成AIの核となる技術は「トランスフォーマー（Transformer）」です。2017年にGoogleの研究者が中心になって発表した「Attention Is All You Need」という論文で提案されました。

みかん

トランスフォーマーの重要な仕組みが「アテンション（注意力）」です。文章中の単語の位置を考慮し、単語と単語の関係性を広範囲にわたって学習します。これにより文脈の意味やニュアンスを深く理解できるようになりました。

みかん

大量の言語データを学習する能力を持つ、大規模なニューラルネットワークを「大規模言語モデル（Large Language Model、略称LLM）」と呼びます。LLMは大量の文章を学習することで、言語の構造、文法、語彙などの基本を学びます。これを「事前学習」と言います。

みかん

事前学習だけでは学習した文章を再現するだけになってしまいます。そこで「ファインチューニング（微調整）」と呼ばれる学習を追加し、特定のタスクに焦点を当てた訓練で論理的かつ適切な回答を生成する能力を向上させます。

みかん

ChatGPTはトランスフォーマーをベースとした「GPT（Generative Pre-trained Transformer）」をベースにしています。パラメータ数はGPT-2で約15億個、GPT-3で約1750億個、GPT-4では1兆個を超えると言われています。

みかん

興味深いことに、LLMが特定の規模に達すると、事前に想定されていなかった能力を獲得することが報告されています。例えばプログラムを生成する能力などです。

みかん

1つ目、機械学習はAI自身がデータから学習する仕組み。サンプルデータが多いほど性能が上がる。ビッグデータの普及で実用化が加速した。

みかん

2つ目、従来の機械学習では特徴量を人間が選んでいたが、ディープラーニングは特徴量を自動で抽出する「特徴表現学習」の一種。

みかん

3つ目、ニューラルネットワークはパーセプトロンから始まり、誤差逆伝播法の発明で多層化が可能に。2012年のILSVRCでディープラーニングが圧勝し、新時代が始まった。

みかん

4つ目、2017年にTransformerが登場し、2022年にChatGPTが公開。LLMは事前学習とファインチューニングで能力を高め、生成AIの時代を切り開いた。

みかん

ということで今回は機械学習・深層学習について解説しました