問題番号: No.1139 (しっかりモード)

過去のすべての勾配の二乗和を蓄積する最適化手法は学習が進むと更新量がゼロになる問題があった。これを解決するため、過去の勾配の蓄積を指数移動平均によって減衰させる手法を【 】と呼ぶ。