問題 No.683
ディープラーニングの過学習を防ぐ手法として、学習時にネットワーク内のニューロンを一定確率でランダムに無効化する処理がある。この手法を用いて学習を完了させた後、実際に未知のデータを入力して推論を行う際、ネットワークのニューロンの扱いはどのように変化するか。
【正解の解説】
推論時は無効化を行わずすべてのニューロンを稼働させるが、出力のスケールを合わせるため学習時の無効化確率を考慮して値を調整する
ドロップアウトという手法の正しい手順です。学習時はニューロンを無効化してネットワークを鍛えますが、推論時はすべてのニューロンを使いつつ、出力のバランスを調整して予測を正確にします。
スポンサーリンク
【その他の選択肢の解説】
推論時も学習時と全く同じ確率でニューロンを無効化し、予測のたびに出力を変化させる
推論時に毎回ランダムにニューロンを無効化すると、予測結果が不安定になるため、通常は行われません。
推論時は学習時に一度でも無効化されたニューロンを完全に削除し、ネットワークのサイズを軽量化する
ニューロンの削除は学習完了後に行う別の技術（プルーニングなど）であり、ドロップアウトそのものの挙動とは異なります。
推論時はニューロンの無効化をしない代わりに、入力データにノイズを加えて予測を安定させる
推論時にノイズを加える手法はありますが、ドロップアウトの仕組みそのものではありません。