問題 No.1357
ニューラルネットワークの学習において、特定の重みパラメータが極端に大きな値を持つと、モデルの複雑さが増して過学習が起きやすくなる。これを防ぐために、損失関数に重みの二乗和をペナルティ項として加え、パラメータが大きくなりすぎるのを数理的に抑制する手法はどれか。
【正解の解説】
L2正則化
L2正則化は、損失関数に重みの二乗和を加えることで、極端に大きな重みを抑制し、モデルを滑らかにする手法です。過学習を防ぐために非常によく用いられる代表的な手法です。
スポンサーリンク
【その他の選択肢の解説】
L1正則化
L1正則化は、損失関数に重みの絶対値を加える手法です。重みを0に近づけやすくし、モデルを単純化（特徴量選択のような効果）させるために使われます。
ドロップアウト
ドロップアウトは、学習中にランダムにニューロンを休ませる手法です。重みの値そのものを抑制するのではなく、ネットワークの構造を一時的に変えることで過学習を防ぎます。
アーリーストッピング
アーリーストッピングは、検証データでの精度が悪化し始めたタイミングで学習を打ち切る手法です。パラメータの大きさそのものを直接抑制するわけではありません。