問題 No.378
深層学習の学習過程で、層が深くなるにつれて各層への入力データの分布が変動し、勾配の更新が困難になる「内部共変量シフト」という問題がある。これを解決するために導入されたバッチ正規化の効果として、不適切な記述はどれか。
【正解の解説】
学習時にDropoutを併用する必要がなくなるほど、強力な過学習抑制効果がある。
バッチ正規化にも過学習抑制効果はありますが、ドロップアウトとは仕組みが異なります。併用することでより高い効果が得られることも多く、併用する必要がなくなるほど強力で代替可能なものとは言えません。
スポンサーリンク
【その他の選択肢の解説】
学習率を高く設定しても学習が安定しやすく、収束を早める効果がある。
バッチ正規化を導入することで学習が安定するため、通常よりも高い学習率を設定できるようになり、結果として収束も早まります。
重みの初期値への依存度を低減し、学習の成功率を向上させる。
各層の入力を一定の分布に整えることで、初期値の影響を受けにくくなり、深いネットワークでも学習が進みやすくなります。
各層の活性化関数への入力値を平均0、分散1に近づけることで勾配消失を防ぐ。
バッチ正規化の核心的な役割は、入力を平均0、分散1に正規化することで、勾配消失を防ぎ学習をスムーズにすることです。