問題 No.50
VAE（変分オートエンコーダ）の学習において、エンコーダが入力画像を潜在変数（平均と分散）に変換する際、モデルの表現力を上げようとして潜在空間の構造が手元のデータに極端に最適化（過学習）され、データの分布がバラバラに散らばってしまう問題がある。潜在変数の確率分布が、扱いやすい標準正規分布からどれだけ「離れているか（乖離度）」を測定し、分布の形状を綺麗に整えるための正則化項として用いられる損失関数はどれか。
【正解の解説】
KLダイバージェンス
KLダイバージェンスは、2つの確率分布がどれだけ異なるかを測る指標です。VAEでは、生成される潜在変数の分布を理想的な正規分布に近づけるための正則化（制御）として機能します。
スポンサーリンク
【その他の選択肢の解説】
Contrastive Loss
Contrastive Lossは、似たデータ同士は近く、違うデータ同士は遠くなるように配置するための距離学習の手法です。分布を整える目的とは少し異なります。
交差エントロピー誤差関数
クロスエントロピー誤差は、主に分類問題で予測値と正解ラベルの差を測るために用いられます。VAEの潜在空間の調整には適していません。
平均二乗誤差
平均二乗誤差は、数値予測などで予測値と実測値のズレを計算する際によく使われる関数です。VAEにおいて再構成した画像の精度を測るのには使われますが、分布の調整には適していません。