問題 No.1267
自然言語処理の基盤であるTransformerでは、バッチ正規化ではなくレイヤー正規化が標準的に採用されている。時系列やテキストデータを扱うモデルにおいて、レイヤー正規化が適している理由として最も適切なものはどれか。
【正解の解説】
1つのサンプルのすべての特徴量方向で平均と分散を計算するため、文章のように入力データの長さが変動しても安定して正規化できるから。
レイヤー正規化は、1つのデータの中で平均や分散を計算するため、文章の長さが変わっても個別のデータ内で安定して調整できます。
スポンサーリンク
【その他の選択肢の解説】
ミニバッチ内の異なるサンプル間で統計量を計算するため、バッチサイズが小さい場合でも精度が安定しやすいから。
これはバッチ正規化の説明です。バッチごとに計算するため、バッチサイズに影響を受けます。
チャンネルごとに完全に独立して正規化を行うため、空間的な情報を保持しやすく、画像の特徴抽出に特化しているから。
これは画像特有の処理であり、レイヤー正規化が主に時系列データに使われる理由とは異なります。
入力データの最小値を0、最大値を1に比例縮小する処理であり、計算コストを最小限に抑えることができるから。
これは単純なMin-Maxスケーリングのことであり、モデルの正規化処理とは異なります。