問題番号: No.6 (しっかりモード)

ニューラルネットワークの最適化手法（オプティマイザ）において、学習が進むにつれて過去の勾配の二乗和が累積し、最終的に学習率が実質ゼロになってしまい、新しいデータを全く学習できなくなる（学習の停滞）という致命的な欠点を持つ手法がある。この問題を解決するため、過去の勾配の蓄積に移動平均を導入し、学習率が極端に低下しないように改良された手法はどれか。