問題 No.41
機械学習の線形回帰モデルにおいて、過学習を防ぐためにパラメータの絶対値の和をペナルティとして科す正則化（Lasso）を適用すると、不要な特徴量の重みが完全にゼロになるメリットがある反面、相関の高い変数グループがあるとその中から1つだけをランダムに選んで他をゼロにしてしまい、解が不安定になる弱点がある。この弱点を克服するため、L1正則化とL2正則化の双方のペナルティ項を線形結合で組み合わせて過学習を制御する手法はどれか。
【正解の解説】
Elastic Net
Elastic Netは、L1正則化とL2正則化を組み合わせた手法です。L1の『不要な特徴量をゼロにする』性質と、L2の『相関の高い変数をバランスよく扱う』性質を併せ持つことで、安定した学習を可能にします。
スポンサーリンク
【その他の選択肢の解説】
リッジ回帰
リッジ回帰は、L2正則化を用いた手法です。特徴量の重みの二乗和をペナルティとして科すことで、極端に大きな重みを抑制しますが、重みをゼロにする効果はありません。
L0正則化
L0正則化は、ゼロでない重みの数をペナルティとする手法です。理論上は最もシンプルに不要な特徴量を排除できますが、組み合わせの計算が非常に複雑で、現実的な計算時間で解くことが困難です。
ドロップアウト
ドロップアウトは、深層学習において学習時にランダムでニューロンを無効化する手法です。特定のニューロンへの過度な依存を防ぎますが、回帰モデルの重みに対する正則化手法とは異なります。