問題 No.848
ディープラーニングのモデルにバッチ正規化層を導入する利点や特徴として不適切なものはどれか。
【正解の解説】
推論時において入力された1件のデータのみを用いて、その都度そのデータの平均と分散を計算して正規化を行う
推論時はミニバッチが存在しないため、学習済みのモデル全体で計算した平均や分散のデータを使って正規化を行います。1件ごとに計算するわけではありません。
スポンサーリンク
【その他の選択肢の解説】
各層への入力データの分布をミニバッチごとに正規化することで、学習をより安定させ高速化できる
バッチ正規化は、データの偏りを抑えることで、学習時の信号の流れを安定させ、より速く高い性能を出せるようにする技術です。
初期の重みの設定に対して過度に神経質になる必要がなくなり、比較的大きな学習率を設定可能になる
データの分布が整うため、重みの初期値や学習率の設定がそれほど厳密でなくても、安定して学習が進むようになります。
軽微な正則化効果があるため、過学習を抑制する目的でも一定の効果を発揮する
バッチ正規化は、データの統計量にわずかな「揺らぎ」を加えるため、結果として過学習を防ぐというおまけの効果があります。