問題 No.396
最適化手法の一つであるMomentum SGDにおいて、過去の勾配の蓄積を利用する目的として正しいものはどれか。
【正解の解説】
局所解やサドルポイントを勢いで乗り越え、学習をより速く収束させるため
正解です。Momentum SGDは、ボールが坂道を転がり落ちる際に勢い（慣性）がつくように、過去の勾配の蓄積を利用します。これにより、小さな窪み（局所解）にハマらず、勢いよく滑らかに最適解を目指すことができます。
スポンサーリンク
【その他の選択肢の解説】
勾配の計算回数を減らし、毎ステップの処理を軽量化するため
誤りです。勾配の計算回数が減るわけではなく、計算は毎ステップ行われます。目的は最適化の効率化です。
学習率を自動的に0にする機能を追加し、オーバーシュートを防ぐため
誤りです。学習率を自動的に調整する手法は他にもありますが、Momentumの主目的は過去の方向性を活用して加速することです。
学習データ内の外れ値の影響を完全に無効化するため
誤りです。外れ値の影響を無効化する手法は別の正則化技術などが担当します。