問題 No.880
ニューラルネットワークの学習において、正則化手法の1つとして用いられる早期終了の運用のあり方や目的として不適切なものはどれか。
【正解の解説】
早期終了を適用するとモデルの表現力が強制的にリセットされるため、本番環境の推論時に必要なネットワークの重みパラメータがすべて0に初期化されて出力される
早期終了は学習のタイミングを止めるだけであり、パラメータがすべて0にリセットされるわけではありません。学習途中の重みがそのままモデルの最終的な数値として使われます。
スポンサーリンク
【その他の選択肢の解説】
訓練データに対する損失が下がり続けているにもかかわらず、検証データに対する損失が減少から上昇に転じたタイミングで学習を打ち切る
早期終了は、学習が進むにつれて未知のデータに対する予測性能（検証データでの精度）が悪化し始めたタイミングを見計らって学習をストップする手法です。
あらかじめ設定したエポック数をすべて消化する前に処理を終了させるため計算資源の無駄遣いを防ぎ、開発時間を短縮する副次的なメリットもある
過学習を防ぐだけでなく、必要以上に学習を続けないため、計算リソースを節約し、学習を効率的に終わらせる効果があります。
モデルが訓練データのノイズや細部まで完全に記憶してしまう過学習を抑制し、未知のデータに対する汎化性能を最大化するために導入される
過学習とは、モデルが訓練データを暗記しすぎてしまい、新しい未知のデータに対して応用が利かなくなる状態のことです。早期終了はこれを防ぐ有効な手段です。