問題 No.1153
ディープラーニングにおける過学習対策として用いられるドロップアウトについて、そのメカニズムや効果に関する記述として不適切なものはどれか。
【正解の解説】
過学習を防ぐために、損失関数に対して各パラメータの重みの二乗和をペナルティとして加え、重みが大きくなりすぎるのを抑制する。
これはドロップアウトの説明ではなく、パラメータの大きさに制限をかけて過学習を防ぐ「L2正則化」という別の手法の説明です。
スポンサーリンク
【その他の選択肢の解説】
学習時に一定の確率でランダムにニューロンを無効化することで、特定のニューロンの組み合わせに対する過度な依存を防ぐ。
学習のたびにランダムに一部のニューロンを休ませることで、特定のニューロンだけが頑張りすぎることを防ぎ、ネットワーク全体で学習を行うようにします。
毎回異なるネットワーク構造で学習を行うことになり、結果として多数のモデルをアンサンブル学習させているような効果が得られる。
毎回少しずつ異なるネットワーク構造で学習するため、複数のモデルの意見を合わせるのと似た、バランスの良い予測が可能になります。
推論時にはすべてのニューロンを有効にするが、出力の期待値を保つために学習時の無効化確率に応じたスケーリングを行う。
学習時は一部を無効化しますが、推論時にはすべてを使って予測します。その際、学習時と出力バランスが崩れないよう調整して計算します。