問題 No.905
ニューラルネットワークの学習を安定化させる手法として広く用いられるバッチ正規化に関する記述として、次のうち最も不適切なものはどれか。「バッチ正規化は、【 】」
【正解の解説】
ミニバッチ単位ではなくデータセット全体を一括で正規化するためメモリ消費が極めて大きい
バッチ正規化は、データ全体ではなく一度に処理する「ミニバッチ」という小さなグループごとに平均や分散を調整する仕組みです。
スポンサーリンク
【その他の選択肢の解説】
学習率を比較的大きく設定できるようになり収束が早まる
バッチ正規化を行うとデータの分布が安定するため、学習のスピードを早めたり、一度に大きな幅で学習を進めたりしても安定して学習できるようになります。
パラメータの初期値への依存度を低減させることができる
バッチ正規化を適用すると、学習の開始時に設定するパラメータの初期値が多少偏っていても、自動的にデータを適切な範囲に調整してくれるため、初期値への依存が少なくなります。
学習時に各層への入力分布が変動する現象を抑える効果がある
バッチ正規化は、学習中に層を通過するデータの値が極端な値にならないよう常に整えることで、層ごとの入力分布の変動を抑制する効果があります。