G検定公式テキスト第3章「機械学習の具体的手法」の第1節「代表的な手法」の解説。
みかん
今回はG検定の第3章「機械学習の具体的手法」の1節「代表的な手法」を解説します
みかん
機械学習と一口に言っても、どのような課題を解きたいかによってアプローチは様々です。課題を解決する手段は大きく3つにまとめることができます。
あいで
3つもあるんですね。それぞれどう違うんですか？
みかん
まず「教師あり学習」です。これは「与えられたデータ（入力）を元に、そのデータがどんなパターン（出力）になるのかを識別・予測する」ものです。
教師あり学習とは
教師あり学習 = 入力と出力がセットになったデータを使い、入力から出力を予測する手法。
みかん
例えば「過去の売上から将来の売上を予測したい」「動物の画像が何の動物か識別したい」「英語の文章を日本語に翻訳したい」などが教師あり学習の課題です。
みかん
教師あり学習の課題は大きく2種類に分かれます。連続する数値を予測する「回帰問題」と、カテゴリを予測する「分類問題」です。
あいで
数値を予測するのが回帰、カテゴリを当てるのが分類ってことですね。
みかん
次に「教師なし学習」です。教師あり学習と違ってデータに出力がありません。入力データそのものが持つ構造・特徴を見つけ出すのが目的です。
教師なし学習とは
教師なし学習 = 出力（正解）がないデータから、データの構造やグループを見つけ出す手法。
みかん
例えば「ECサイトの売上データから顧客層を認識したい」「入力データの項目間の関係性を把握したい」といった時に教師なし学習を用います。
みかん
最後は「強化学習」です。ひとことで言うと「行動を学習する仕組み」です。ある環境下で報酬を最大化するためにどのような行動をとればいいかを学習します。
強化学習とは
強化学習 = ある環境下で報酬（スコア）を最大化するために、最適な行動を学習する仕組み。エージェントが環境と相互作用する。
みかん
強化学習では「エージェント」が「環境」から「状態」を受け取り、「行動」を選択します。その結果として「報酬」が得られ、なるべく高い報酬が得られる行動をとるように学習が進みます。
あいで
教師あり・教師なし・強化学習の3つは、課題が異なるだけで優劣はないんですね。問題や目的に応じて使い分けるのがポイントですね。
みかん
線形回帰は統計でも用いられる最もシンプルなモデルの1つです。データに最も当てはまる直線を考え、その直線で未知のデータを予測します。
線形回帰
線形回帰 = データの分布に最も当てはまる直線を求めて予測する手法。最もシンプルなモデルの1つ。
みかん
1つの入力だけで回帰分析を行うことを「単回帰分析」、複数種類の入力を用いる場合を「重回帰分析」と言います。
みかん
また線形回帰に正則化項を加えた手法として「ラッソ回帰」と「リッジ回帰」があります。正則化については後述します。
あいで
線形回帰はシンプルだけど、正則化で改良もできるんですね。
みかん
ロジスティック回帰は線形回帰の分類問題版と言えるもので、名前に「回帰」とついていますが分類問題に用いる手法です。注意してください。
ロジスティック回帰
ロジスティック回帰 = 名前は「回帰」だが、分類問題に用いる手法。シグモイド関数を使って確率を出力する。
みかん
ロジスティック回帰ではシグモイド関数を用いて、出力を0から1の間に写像します。出力値が0.5以上なら正例、0.5未満なら負例と分類します。
みかん
2種類の分類は「2クラス分類問題」、3種類以上を「多クラス分類問題」と呼びます。多クラスの場合はシグモイド関数の代わりに「ソフトマックス関数」を用います。
ソフトマックス関数
ソフトマックス関数 = 各クラスの出力値を0〜1の間にし、合計が1になるよう出力する関数。確率分布として解釈できる。
あいで
「回帰」という名前なのに分類に使うんですか！ ややこしいですね。G検定でもひっかけで出そう。
みかん
ランダムフォレストは「決定木」を用いる手法です。特徴量をもとに分岐路を作っていき、最終的に1つのパターンを予測します。この分岐路が「決定木」です。
みかん
ランダムフォレストでは複数の決定木を作成し、それぞれランダムに特徴量を抽出して学習します。学習データもランダムに一部を取り出して使います。これを「ブートストラップサンプリング」と言います。
ランダムフォレスト
ランダムフォレスト = 複数の決定木をランダムに作成し、それぞれの結果を多数決で統合する手法。ブートストラップサンプリングでデータを抽出。
みかん
このように複数のモデルで学習させることを「アンサンブル学習」と言います。また、全体から一部のデータを用いて複数のモデルを学習する方法を「バギング」と言います。
アンサンブル学習とバギング
アンサンブル学習 = 複数のモデルを組み合わせて学習する手法の総称。バギング = 全体から一部のデータを抽出して複数モデルを並列に学習する方法。
あいで
「三人寄れば文殊の知恵」みたいなものですね。1つの決定木だけだと偏るかもしれないけど、たくさん集めれば精度が上がると。
みかん
ブースティングもバギングと同様にアンサンブル学習の一種ですが、モデルを並列ではなく「直列」に作成する点が異なります。つまり逐次的にモデルを改善していきます。
ブースティング
ブースティング = 複数のモデルを直列に作成し、逐次的に改善していくアンサンブル学習手法。バギングより時間がかかるが精度が高い傾向。
みかん
代表的な手法として「AdaBoost」があります。直前のモデルが誤認識したデータの重みを大きくし、正しく認識したデータの重みを小さくして学習を繰り返します。
みかん
また「勾配ブースティング」は前のモデルの予測誤差を関数として捉え、それを最小化するようにモデルの学習を進めます。さらに高速化した「XGBoost」というアルゴリズムも有名です。
あいで
バギングは並列で速い、ブースティングは直列で時間がかかるけど精度が高い傾向があるんですね。
みかん
サポートベクターマシン（SVM）は高度な数学的理論に支えられた手法です。異なるクラスの各データ点との距離が最大となるような境界線を求めることで分類を行います。
サポートベクターマシン
SVM = 異なるクラスの各データ点との距離が最大となる境界線を求めて分類する手法。この距離の最大化を「マージン最大化」と言う。
みかん
データが直線で分類できない場合は、データをあえて高次元に写像し、その空間で線形分類できるようにします。この写像に用いる関数を「カーネル関数」、計算を効率化するテクニックを「カーネルトリック」と言います。
カーネル関数
カーネル関数 = データを高次元空間に写像して線形分類を可能にする関数。カーネルトリック = 計算が複雑にならないようにする効率化テクニック。
あいで
直線で分けられないなら次元を上げて分けられるようにする。賢い発想ですね。
みかん
自己回帰モデル（ARモデル）は「時系列データ」を対象とする回帰問題に適用される手法です。時系列データとは時間軸に沿ったデータのことです。
自己回帰モデル
自己回帰モデル（ARモデル）= 時系列データの分析に用いられる手法。過去のデータとの関係性をモデル化して将来を予測する。時系列データ分析は「時系列分析」とも呼ばれる。
みかん
株価の推移、世界人口の推移、インターネット通信量の推移など、実社会には数多くの時系列データが存在します。自己回帰モデルはこれらの将来の数値を予測するのに使われます。
みかん
入力が複数種類の場合は「ベクトル自己回帰モデル（VARモデル）」と呼びます。
あいで
過去のデータから未来を予測するモデルなんですね。天気予報みたいな感じかな。
みかん
k-means法はデータをk個のグループに分ける手法です。元のデータからグループ構造を見つけ出してまとめます。グループのことを「クラスタ」と言い、分析することを「クラスタ分析」と言います。
k-means法
k-means法 = データをk個のクラスタに分ける手法。kは自分で設定する値。クラスタ分析手法のひとつ。
みかん
k-means法の手順は4ステップです。①適当にk個のクラスタに振り分ける→②各クラスタの重心を求める→③各データを最も近い重心のクラスタに振り分け直す→④重心が変化しなくなるまで②③を繰り返す。
あいで
シンプルなアルゴリズムですね。重心を中心にグループ分けを繰り返すんですね。
みかん
k-means法はデータを並列にクラスタに分類しますが、階層構造を求める手法もあります。代表的なのが「ウォード法」や「最短距離法」です。
みかん
階層クラスタリングの結果は樹形図で表すことができ、これを「デンドログラム」と呼びます。デンドログラムをどの深さまで見るかによって、分析するクラスタは変化します。
デンドログラム
デンドログラム = 階層クラスタリングの結果を表す樹形図。どの深さで切るかによってクラスタ数が変わる。
あいで
k-means法は「何グループに分けるか」を自分で決めるけど、階層クラスタリングは「どこまで細かく見るか」で分け方が変わるんですね。
みかん
主成分分析（PCA）は、データの特徴量間の関係性（相関）を分析してデータの構造をつかむ手法です。特に特徴量の数が多い場合に、相関のある多数の特徴量を少数の特徴量へ「次元削減」することが主な目的です。
主成分分析
主成分分析（PCA）= データの特徴量間の相関を分析し、多数の特徴量を少数に削減する手法。次元削減の代表的手法。
みかん
次元削減の手法としては、他にも「特異値分解（SVD）」、2次元・3次元への可視化手法として「多次元尺度構成法（MDS）」「t-SNE」なども有名です。
あいで
特徴量が多すぎると扱いにくいので、大事な情報を残しつつ減らすわけですね。
みかん
協調フィルタリングはレコメンデーション（推薦）に用いられる手法です。ユーザーの購買履歴をもとに好みを分析し、似ているユーザーが買っている商品をおすすめします。
協調フィルタリング
協調フィルタリング = 似ているユーザーの行動履歴を参照して商品を推薦する手法。Amazonの「この商品を買った人はこんな商品も買っています」が有名。
みかん
ただし、他のユーザーの情報を参照するため、参考にできるデータがない限り推薦ができません。これを「コールドスタート問題」と言います。
コールドスタート問題
コールドスタート問題 = 新規ユーザーや新商品など、参照できるデータが事前にない場合に推薦ができない問題。
みかん
一方、商品側の特徴量をもとに推薦する「コンテンツベースフィルタリング」もあります。こちらは対象ユーザーのデータさえあれば推薦でき、コールドスタート問題を回避できます。
あいで
協調フィルタリングは「似た人の行動を参考にする」、コンテンツベースは「商品の特徴を参考にする」ってことですね。
みかん
トピックモデルはk-means法と同様にクラスタリングを行いますが、データを複数のクラスタに分類するのが特徴です。代表的な手法に「潜在的ディリクレ配分法（LDA）」があります。
トピックモデル
トピックモデル = 各文書が複数のトピックから確率的に生成されると仮定したモデル。代表的手法はLDA（潜在的ディリクレ配分法）。
みかん
例えばニュース記事を政治・経済・芸能・スポーツに分けようとした際に、記事内の単語からそれぞれ確率で求めます。文書データ間の類似度も求められるのでレコメンドにも応用できます。
あいで
k-means法は1つのクラスタにしか属せないけど、トピックモデルは複数のクラスタに確率的に属せるんですね。
みかん
強化学習では状態・行動・報酬のやりとりを1時刻（ステップ）ごとに進めて考えます。時刻tにおける状態をs_t、行動をa_t、報酬をr_tとすると、エージェントは環境から状態を受け取り行動を選択して実行します。
みかん
強化学習の目的は「将来にわたって獲得できる累積報酬を最大化する」ことです。将来の報酬は「割引率γ」で割り引いて計算します。これは「今の100円のほうが1年後の100円より価値がある」という考え方です。
割引率と累積報酬
割引率γ（ガンマ）= 将来の報酬を現在価値に割り引くハイパーパラメータ。強化学習は累積報酬R_tの最大化が目的。
あいで
未来の報酬ほど不確実だから割り引いて考えるんですね。金融の考え方と同じだ。
みかん
強化学習では行動の組み合わせが無数にあるため、どこまで行動の選択肢を探るかが課題です。ここで用いられるのが「活用」と「探索」の考え方です。
活用と探索
活用（exploitation）= 現在知っている中から報酬が最大の行動を選ぶこと。探索（exploration）= 現在知っている情報以外の情報を獲得するために行動を選ぶこと。両者はトレードオフの関係。
みかん
活用と探索のバランスをとる手法が「バンディットアルゴリズム」です。具体的な手法として「ε-greedy方策」や「UCB方策」があります。
みかん
「方策（policy）」とは、ある状態からとりうる行動の選択肢とその選択をどう決めるかの戦略のことです。各行動を選択する確率表現となります。
あいで
探索ばかりだと時間がかかり、活用ばかりだと最適解を見逃す。バランスが大事なんですね。
みかん
強化学習では環境に対して「マルコフ性」を仮定しています。マルコフ性とは「現在の状態から将来の状態への遷移確率は、現在の状態にのみ依存し、過去の状態には一切依存しない」という性質です。
マルコフ性
マルコフ性 = 将来の状態は現在の状態のみに依存し、過去の状態には依存しないという性質。この仮定でモデル化を可能にする。
みかん
マルコフ性を仮定して状態遷移をモデル化したものを「マルコフ決定過程」と言います。これにより過去の状態を考慮しなくても、逐次的に計算を繰り返すことで過去の情報を織り込めます。
あいで
過去を全部記憶しなくても「今」だけ見ればいいと仮定することで、計算を効率化しているんですね。
みかん
最適な方策を直接求めるのは困難なため、状態や行動の「価値」を設定し、その価値が最大となるように学習するアプローチがあります。
みかん
具体的には「状態価値関数」と「行動価値関数」があります。特に重要なのは行動価値関数で、式の文字から「Q値」とも呼ばれます。Q値を最適化する手法には「Q学習」や「SARSA」があります。
Q値と価値関数
Q値（Q-value）= 行動価値関数の値。ある状態である行動をとったときの将来の累積報酬の期待値。Q学習やSARSAでQ値を最適化する。
あいで
最適な方策を直接探すのが難しいから、各状態・行動に「点数」をつけて、点数が高い方を選ぶようにするんですね。
みかん
価値関数を最適化するのではなく、直接最適な方策を見つけ出すアプローチもあります。それが「方策勾配法」です。方策をパラメータで表し、累積報酬の期待値が最大となるようにパラメータを学習します。
方策勾配法
方策勾配法 = 方策をパラメータで表現し、そのパラメータを直接学習して最適方策を求める手法。REINFORCE、Actor-Criticなどが代表的。
みかん
具体的な手法として「REINFORCE」があり、AlphaGoにも活用されています。また価値関数ベースと方策勾配ベースを組み合わせた「Actor-Critic」というアプローチも存在します。
あいで
Actor-Criticは行動を決めるActorと方策を評価するCriticの組み合わせなんですね。いいとこ取りの手法ですね。
みかん
1つ目、機械学習は教師あり学習・教師なし学習・強化学習の3つに分類される。問題や目的に応じて使い分ける。
みかん
2つ目、教師あり学習には線形回帰、ロジスティック回帰、ランダムフォレスト、ブースティング、SVM、自己回帰モデルなどがある。回帰問題と分類問題に大別される。
みかん
3つ目、教師なし学習にはk-means法、階層クラスタリング、主成分分析、協調フィルタリング、トピックモデルなどがある。データの構造を発見する。
みかん
4つ目、強化学習は累積報酬を最大化する枠組み。活用と探索のバランス、マルコフ決定過程、価値関数、方策勾配法が重要キーワード。
みかん
ということで今回は機械学習の代表的な手法について解説しました
あいで
このチャンネルでは情報に関することを発信しています。
あいで
よければチャンネル登録、高評価よろしくお願い致します。