問題番号: No.1340 (しっかりモード)

ディープラーニングの最適化アルゴリズムの一つであるAdamは、過去の勾配の一次モーメントと二次モーメントを利用して学習率をパラメータごとに動的に調整する。それぞれのモーメントを推定する際、古い勾配情報を徐々に忘却しつつ新しい勾配情報を平滑化して取り入れるために【 】という数学的アプローチを用いている。