問題 No.1403
ディープラーニングモデルにおける過学習の抑制手法として用いられるドロップアウトについて、その数理的メカニズムと挙動を説明した文章として不適切なものはどれか。
【正解の解説】
推論時においても、学習時と全く同じ確率でニューロンをランダムに無効化し続けることで、出力に揺らぎを持たせ予測精度を向上させる。
推論時はドロップアウトを行いません。全てのニューロンを有効にして、学習した全ての知識を使って精度を最大化します。推論時にも揺らぎを持たせるというのは誤りです。
スポンサーリンク
【その他の選択肢の解説】
学習時に、ネットワーク内のニューロンを一定の確率でランダムに無効化して学習を進めることで、特定のニューロンの結合に過度に依存する共適応を防ぐ。
ドロップアウトは、学習中にランダムで一部のニューロンを「お休み」させることで、一部の特定のニューロンに頼り切る（共適応）のを防ぐ手法です。
毎回異なるニューロンの組み合わせで学習を行うため、擬似的に多数の異なるネットワークを構築し、それらの結果を平均化するアンサンブル学習に近い効果が得られる。
毎回違うニューロンで学習するため、まるで異なるモデルをたくさん作って平均をとっているかのような、強力な学習効果が得られます。
学習における各イテレーションごとに無効化されるニューロンのパターンが切り替わるため、すべての重みが均等に更新されるよう促される。
イテレーションごとに無効化されるパターンが変わるため、ネットワーク全体がまんべんなく訓練されることになります。