5-4 オートエンコーダ
みかん
今回はG検定の第5章「ディープラーニングの要素技術」の4節「オートエンコーダ」を解説します
1. 基本的なオートエンコーダ
みかん
オートエンコーダは、可視層と隠れ層の2層からなるネットワークです。可視層は入力層と出力層がセットになったものだと考えてください。
みかん
オートエンコーダに与えられる入力は、可視層(入力層)→ 隠れ層 → 可視層(出力層)の順に伝搬し出力されます。つまり「入力と出力が同じになるようなネットワーク」を学習することになります。
あいで
入力と出力が同じだと意味がないように思えるんですが…?
みかん
ポイントは隠れ層の次元を入力層よりも小さくしておくことです。すると、一度入力を圧縮(要約)してから復元することになるので、大事な情報だけが隠れ層に反映されることになります。
圧縮がポイント
オートエンコーダの核心:隠れ層の次元を入力層より小さくすることで、入力の情報が圧縮される。大事な情報だけが隠れ層に残る。
みかん
入力→隠れ層における処理を「エンコード(encode)」、隠れ層→出力層における処理を「デコード(decode)」と言います。
みかん
オートエンコーダ自体は教師なし学習に分類されるもので、例えば画像のノイズ除去などに応用されています。このオートエンコーダを応用したディープラーニングの手法が色々と考案されています。
あいで
入力を一度ギュッと圧縮してから元に戻す。その圧縮されたものが入力の本質的な情報ということですね。
2. 積層オートエンコーダ
みかん
オートエンコーダを応用して、ディープラーニングの黎明期に考えられた手法が「積層オートエンコーダ(stacked autoencoder)」です。ディープラーニングの祖であるジェフリー・ヒントンが考えたものです。
みかん
積層オートエンコーダは、オートエンコーダを順番に学習させ、それを積み重ねていくというアプローチを取りました。
みかん
例えば2つ積み重ねる場合、まずオートエンコーダAの可視層→隠れ層の学習を行います。次にAの隠れ層がオートエンコーダBの可視層になり、Bで学習が行われます。
みかん
どんなに層が積み重なっても肝心なのは「順番に学習していく」こと。それぞれで隠れ層の重みが調整されるので、全体で重みが調整されたネットワークができるのです。このオートエンコーダを順番に学習していく手順のことを「事前学習(pre-training)」と言います。
事前学習の概念が重要
積層オートエンコーダ自体は現在はあまり使われないが、「事前学習」の概念は転移学習の文脈で広く使われている。
あいで
現在はこの手法はあまり使われないけど、「事前学習」という考え方自体は転移学習の文脈で今でも使われているんですね。
3. 変分オートエンコーダ
みかん
変分オートエンコーダ(Variational Auto-Encoder
みかん
従来のオートエンコーダは入力データを圧縮表現するのに対し、VAEは入力データを圧縮表現するのではなく「統計分布」に変換します。つまり平均と分散で表現するように学習します。
あいで
なぜわざわざ統計分布にするんですか?
みかん
入力データが何かしらの分布に基づいて生成されているものとした場合、その分布を表現するように学習すれば良いという考え方です。入力データはこの統計分布のある1つの点ということになります。
みかん
VAEでは、エンコーダが入力データを統計分布のある1点となる「潜在変数」に変換します。デコーダは、統計分布からランダムにサンプリングした1点を復元することで、新しいデータを生成します。
VAEの仕組み
VAEの仕組み:エンコーダが入力を潜在変数(統計分布上の点)に変換 → デコーダが統計分布からサンプリングした点を復元して新しいデータを生成。
みかん
VAEには色々な応用手法があります。潜在変数を連続値ではなく離散値にしたVQ-VAE、潜在変数とデータの相関を高めるinfoVAE、画像の特徴を潜在空間上でうまく分離しやすくしたβ-VAEなどがあります。
あいで
VAEはランダムにサンプリングして新しいデータを作れるところが従来のオートエンコーダとの大きな違いなんですね。まさに「生成モデル」ですね。
まとめ
みかん
1つ目、オートエンコーダは入力と出力を同じにする教師なし学習。隠れ層の次元を小さくすることで入力の情報を圧縮する。
みかん
2つ目、積層オートエンコーダはオートエンコーダを順番に学習して積み重ねる手法。「事前学習」の概念を生み出した。
みかん
3つ目、変分オートエンコーダ(VAE)は入力データを統計分布に変換する生成モデル。潜在変数からサンプリングで新しいデータを生成できる。
みかん
ということで今回はオートエンコーダについて解説しました
あいで
このチャンネルでは情報に関することを発信しています。
あいで
よければチャンネル登録、高評価よろしくお願い致します。