問題 No.57
Adagradは、学習パラメータごとに勾配の履歴を記録して学習率を自動調整できる優れた最適化手法だが、学習が進行してステップ（更新回数）が重なると、過去の勾配の二乗和が分母に累積し続けるため学習率が実質的にゼロ付近まで低下し、最適解（谷の底）に到達する前にパラメータの更新が完全にストック（停滞）してしまう深刻な弱点がある。この過去の勾配の累積に「指数移動平均」を導入し、直近の勾配を重視して分母の爆発を防ぐことで学習率の枯渇を解決した最適化手法はどれか。
【正解の解説】
RMSprop
RMSpropは、過去の勾配の合計をそのまま使うのではなく、指数移動平均を用いることで「最近の勾配」をより重視し、学習率が停滞する問題を解決した手法です。
スポンサーリンク
【その他の選択肢の解説】
確率的勾配降下法(SGD)
SGDは、単純な確率的勾配降下法であり、学習率をパラメータごとに自動調整したり、過去の勾配履歴を考慮したりする機能はありません。
Adam
Adamは、学習率調整と過去の情報の蓄積を非常にうまく行う優れた手法ですが、設問で問われている「Adagradの弱点（勾配の累積による枯渇）を指数移動平均で解決した」手法はRMSpropです。
Adadelta
Adadeltaは、Adagradの勾配累積問題を解決するもう一つの手法ですが、勾配の二乗の指数移動平均を用いる点はRMSpropと同じく、勾配爆発を防ぐ仕組みが特徴的です。