問題 No.388
ニューラルネットワークの学習において、Adamが広く採用されている主な理由として不適切な記述はどれか。
【正解の解説】
データセット全体を一度に読み込む必要がないため、メモリ効率が他の手法より格段に優れているため。
Adamは移動平均を保持するためのメモリを必要とするため、他のシンプルな最適化手法と比べてメモリ効率が格段に優れているわけではありません。
スポンサーリンク
【その他の選択肢の解説】
勾配の移動平均だけでなく、二乗勾配の移動平均も利用することで学習率を自動調整するため。
勾配（学習の修正量）の平均と、その二乗の平均の両方を見ることで、パラメータごとに学習の進み具合を細かく調整するAdamの主要な仕組みです。
MomentumとAdagradの利点を組み合わせ、勾配の方向とスケールの両方を考慮するため。
過去の更新量を考慮するMomentumと、各パラメータの学習率を個別調整するAdagrad、それぞれの強みを合わせ持つ手法がAdamです。
学習の初期段階ではダイナミックに変化し、後半では収束しやすいように設計されているため。
学習が進むにつれて学習率を適切に制御し、初期は素早く動き、後半は安定してゴール（最適解）にたどり着くように工夫されています。