問題 No.700
ディープラーニングにおける過学習を防ぐための一つのアプローチとして、損失関数に対してペナルティとなる項を追加する手法がある。学習の過程でパラメータの重みが極端に大きくなることを防ぎ、ネットワーク全体の重みを滑らかに保つことで未知のデータへの汎化性能を高めるこの手法はどれか。
【正解の解説】
L2正則化
学習の際、重みの二乗和をペナルティとして加えることで、個々の重みが大きくなりすぎないように抑え込む手法です。これによりモデルが単純化され、過学習が抑制されます。
スポンサーリンク
【その他の選択肢の解説】
プルーニング
ネットワーク内の不要な枝（接続）を切り落とすことで、モデルの軽量化や過学習の抑制を図る手法です。
スキップ結合
層を飛び越えて情報を伝える道を作ることで、ネットワークが深くても学習が停滞しないようにする画期的な仕組みです。
蒸留
大きなモデルの知識を、より小さなモデルに受け継がせることで、性能を保ったままモデルを軽量化する技術です。