問題 No.505
バッチ正規化がミニバッチ内のサンプル間で正規化するのに対し、各層の全ニューロンの出力を同一サンプル内で正規化する手法はどれか。
【正解の解説】
Layer Normalization
各層の全ニューロンの出力を同一サンプル内で調整する手法です。RNNのようにデータが長くなる処理において、安定して学習を進めるために適しています。
スポンサーリンク
【その他の選択肢の解説】
バッチ正規化
ミニバッチ（データの塊）に含まれる複数のサンプルをまとめて、平均が0、分散が1になるように調整することで、学習を安定させる代表的な手法です。
局所応答正規化
Local Response Normalization(局所応答正規化)は、特定のニューロンが周囲のニューロンの影響を受けて強まりすぎるのを抑える手法で、初期のCNNなどによく使われていました。
重み正規化
Weight Normalization(重み正規化)は、ニューロンの重みパラメータ自体を正規化する手法で、計算の安定化を目的としています。