問題 No.727
画像認識のモデル学習において、GPUメモリの制限でバッチサイズを非常に小さく設定せざるを得ない状況になった。この条件下でも高い精度を保つため、チャンネルを複数に分割してそれぞれの内部で正規化を行う手法はどれか。
【正解の解説】
グループ正規化
グループ正規化は、チャンネルを複数のグループに分け、各グループ内で統計量を計算します。これにより、バッチサイズが小さくてもグループ内の情報を活用でき、画像認識の性能低下を抑えることができます。
スポンサーリンク
【その他の選択肢の解説】
重み正規化
重み正規化は、重みベクトルの大きさを一定に保つように制限をかける手法です。学習速度の向上や安定化を目的としていますが、ご質問の文脈とは異なります。
レイヤー正規化
レイヤー正規化は、各層ごとの特徴量を正規化します。RNNなどの系列データには適していますが、画像処理でバッチサイズが小さい状況には最適とは言えません。
インスタンス正規化
インスタンス正規化は、チャンネルごとに独立して正規化を行います。画像生成には適していますが、物体の識別を行うタスクでは情報が制限されすぎることがあります。