問題 No.726
自然言語処理のモデルにおいて、入力される文章の長さが毎回異なる場合でも安定して学習を進めたい。ミニバッチ全体で統計量をとるのではなく、1つのデータサンプル内のすべての特徴量方向で平均と分散を計算し正規化する手法はどれか。
【正解の解説】
レイヤー正規化
レイヤー正規化は、入力されたデータ一つひとつに対して、層（レイヤー）内のすべての特徴量で平均と分散を計算し正規化する手法です。自然言語処理のような、文章の長さがバラバラなデータに有効です。
スポンサーリンク
【その他の選択肢の解説】
グループ正規化
グループ正規化は、特徴量をチャンネル方向に複数のグループに分割し、それぞれのグループ内で平均と分散を計算して正規化を行う手法です。バッチサイズが小さい場合でも安定して機能します。
インスタンス正規化
インスタンス正規化は、各データサンプル内のチャンネルごとに平均と分散を計算し正規化する手法です。主に画像生成やスタイル変換など、個別のデータの特徴を強調したいタスクで使われます。
バッチ正規化
バッチ正規化は、ミニバッチに含まれる複数のデータの平均と分散を計算して正規化する手法です。学習の安定性が高いですが、バッチサイズが極端に小さいと統計値が不安定になる傾向があります。