オートエンコーダ

みかん

今回はG検定の第5章「ディープラーニングの要素技術」の4節「オートエンコーダ」を解説します

みかん

オートエンコーダは、可視層と隠れ層の2層からなるネットワークです。可視層は入力層と出力層がセットになったものだと考えてください。

みかん

オートエンコーダに与えられる入力は、可視層（入力層）→ 隠れ層 → 可視層（出力層）の順に伝搬し出力されます。つまり「入力と出力が同じになるようなネットワーク」を学習することになります。

みかん

ポイントは隠れ層の次元を入力層よりも小さくしておくことです。すると、一度入力を圧縮（要約）してから復元することになるので、大事な情報だけが隠れ層に反映されることになります。

みかん

入力→隠れ層における処理を「エンコード（encode）」、隠れ層→出力層における処理を「デコード（decode）」と言います。

みかん

オートエンコーダ自体は教師なし学習に分類されるもので、例えば画像のノイズ除去などに応用されています。このオートエンコーダを応用したディープラーニングの手法が色々と考案されています。

みかん

オートエンコーダを応用して、ディープラーニングの黎明期に考えられた手法が「積層オートエンコーダ（stacked autoencoder）」です。ディープラーニングの祖であるジェフリー・ヒントンが考えたものです。

みかん

積層オートエンコーダは、オートエンコーダを順番に学習させ、それを積み重ねていくというアプローチを取りました。

みかん

例えば2つ積み重ねる場合、まずオートエンコーダAの可視層→隠れ層の学習を行います。次にAの隠れ層がオートエンコーダBの可視層になり、Bで学習が行われます。

みかん

どんなに層が積み重なっても肝心なのは「順番に学習していく」こと。それぞれで隠れ層の重みが調整されるので、全体で重みが調整されたネットワークができるのです。このオートエンコーダを順番に学習していく手順のことを「事前学習（pre-training）」と言います。

みかん

変分オートエンコーダ（Variational Auto-Encoder

みかん

従来のオートエンコーダは入力データを圧縮表現するのに対し、VAEは入力データを圧縮表現するのではなく「統計分布」に変換します。つまり平均と分散で表現するように学習します。

みかん

入力データが何かしらの分布に基づいて生成されているものとした場合、その分布を表現するように学習すれば良いという考え方です。入力データはこの統計分布のある1つの点ということになります。

みかん

VAEでは、エンコーダが入力データを統計分布のある1点となる「潜在変数」に変換します。デコーダは、統計分布からランダムにサンプリングした1点を復元することで、新しいデータを生成します。

みかん

VAEには色々な応用手法があります。潜在変数を連続値ではなく離散値にしたVQ-VAE、潜在変数とデータの相関を高めるinfoVAE、画像の特徴を潜在空間上でうまく分離しやすくしたβ-VAEなどがあります。

みかん

1つ目、オートエンコーダは入力と出力を同じにする教師なし学習。隠れ層の次元を小さくすることで入力の情報を圧縮する。

みかん

2つ目、積層オートエンコーダはオートエンコーダを順番に学習して積み重ねる手法。「事前学習」の概念を生み出した。

みかん

3つ目、変分オートエンコーダ（VAE）は入力データを統計分布に変換する生成モデル。潜在変数からサンプリングで新しいデータを生成できる。

みかん

ということで今回はオートエンコーダについて解説しました