問題 No.803
ディープラーニングモデルの過学習を防ぐために用いられる手法であるドロップアウトに関する記述として不適切なものはどれか。
【正解の解説】
ミニバッチごとにすべてのニューロンの重みの値を一律にゼロにリセットして学習を最初からやり直す手法である。
これは不適切です。ドロップアウトはすべてのニューロンをリセットするのではなく、毎回ランダムに特定のニューロンを「休ませる」ことで学習の偏りを防ぐ手法です。
スポンサーリンク
【その他の選択肢の解説】
学習のステップごとに設定した一定の確率でランダムに選択されたニューロンの活動を一時的に停止させる。
ドロップアウトの仕組みです。毎回ランダムにメンバー（ニューロン）を入れ替えて学習することで、一部の特定のデータに頼りすぎるのを防ぎます。
毎回異なるネットワーク構造で学習を行うことになるため事実上膨大な数の軽量なモデルを擬似的にアンサンブル学習させている効果がある。
ドロップアウトの副次的効果です。多様な構造で学習するため、複数のモデルを混ぜ合わせたときのような安定感が出ます。
テスト時にはすべてのニューロンを使用するが訓練時に活動を停止させていた確率を考慮して出力をスケール調整する。
ドロップアウトを行った後のテスト時の処理です。学習時に使わなかった確率を調整して、全体のバランスを取るために必要なプロセスです。