問題番号: No.57 (しっかりモード)

Adagradは、学習パラメータごとに勾配の履歴を記録して学習率を自動調整できる優れた最適化手法だが、学習が進行してステップ（更新回数）が重なると、過去の勾配の二乗和が分母に累積し続けるため学習率が実質的にゼロ付近まで低下し、最適解（谷の底）に到達する前にパラメータの更新が完全にストック（停滞）してしまう深刻な弱点がある。この過去の勾配の累積に「指数移動平均」を導入し、直近の勾配を重視して分母の爆発を防ぐことで学習率の枯渇を解決した最適化手法はどれか。