問題 No.640
バッチ正規化は学習を安定化させる強力な手法だが、GPUのメモリ制限などでバッチサイズを非常に小さくせざるを得ない場合、統計量が不安定になり精度が著しく低下する。この問題を解決するため、バッチサイズに依存しない正規化手法がいくつか提案されている。次のうち、空間方向の情報を保持したままバッチサイズに依存しない正規化手法として不適切なものはどれか。
【正解の解説】
バッチ正規化
バッチ正規化は、学習データをグループ化して統計量を計算しますが、バッチサイズが非常に小さいと統計値が不安定になるため、今回不適切な選択肢となります。
スポンサーリンク
【その他の選択肢の解説】
インスタンス正則化
インスタンス正則化は、データの個々のサンプルごとに正規化を行う手法で、バッチサイズが小さい時でも個別に計算できるため安定した学習が可能です。
レイヤー正規化
レイヤー正規化は、層（レイヤー）内の各ニューロンの出力値を揃える手法で、バッチサイズに関わらず使えるため、特に文章処理などで重宝されます。
グループ正規化
グループ正規化は、チャンネルをいくつかのグループに分けて正規化する手法で、バッチサイズが小さくても安定して動作します。