問題 No.140
確率的勾配降下法は勾配の傾きに沿って一定の学習率でパラメータを更新するが、谷の周辺でジグザグに振動してしまい、最適解（局所的極小値）に到達するまでに時間がかかる欠点がある。これに対し、物理的な「慣性（運動量）」の概念を導入し、過去の勾配の方向を一定割合で引き継ぐことで、同じ方向への更新を加速させて振動を抑制する最適化手法はどれか。
【正解の解説】
モメンタム
物理の「慣性」を取り入れ、過去の動きを一定割合引き継ぐことで、ジグザグ振動を抑え、最適解へ素早く向かう手法です。
スポンサーリンク
【その他の選択肢の解説】
アディグラッド
Adagrad(Adagrad)のことです。過去の勾配の大きさに応じて、学習率をパラメータごとに自動調整する手法です。
アダム
Adam(Adam)のことです。モメンタムとAdagradの利点を組み合わせ、現在の主流となっている非常に効率の良い最適化手法です。
アディデルタ
Adadelta(Adadelta)のことです。Adagradの学習率が小さくなりすぎてしまう欠点を改善した手法です。