問題 No.1340
ディープラーニングの最適化アルゴリズムの一つであるAdamは、過去の勾配の一次モーメントと二次モーメントを利用して学習率をパラメータごとに動的に調整する。それぞれのモーメントを推定する際、古い勾配情報を徐々に忘却しつつ新しい勾配情報を平滑化して取り入れるために【 】という数学的アプローチを用いている。
【正解の解説】
指数移動平均
指数移動平均は、新しいデータほど大きな重みを付けて、過去のデータの影響を徐々に薄めていく手法です。古い情報を完全に捨てるのではなく、記憶として少し残しながら新しい情報を反映できます。
スポンサーリンク
【その他の選択肢の解説】
単純移動平均
単純移動平均は、ある期間のデータをすべて等しく足して平均をとる手法です。古いデータも新しいデータも同じ重みで扱うため、直近の変化に鈍感になります。
累積和
累積和は、それまでの値をすべて足し合わせる計算です。古い情報が重なるほど値が大きくなりすぎるため、学習の更新には向きません。
フーリエ変換
フーリエ変換は、複雑な信号や波形を、単純な波（周波数成分）の組み合わせに分解する手法です。学習率の調整ではなく、主にデータ解析に使われます。