問題 No.1284
ニューラルネットワークの重みを更新する最適化アルゴリズムにおいて、パラメータごとに過去の勾配の履歴を記録して学習率を自動調整するアプローチと、物理的なボールが転がるように過去の勾配の方向を慣性として引き継ぐアプローチの両方の利点を組み合わせた、現在最も標準的に広く用いられている手法はどれか。
【正解の解説】
Adam
Adamは、AdaGradのような学習率の自動調整機能と、Momentumのような慣性の要素を組み合わせた、現在最も汎用的な最適化アルゴリズムです。
スポンサーリンク
【その他の選択肢の解説】
Adagrad
AdaGradは、過去の勾配の蓄積量に応じて学習率を適応的に調整しますが、慣性（Momentum）の要素は含みません。
モーメンタム
Momentumは、物理のボールが転がるような慣性を加えることで、局所最適解からの脱出を早める手法ですが、適応的な学習率調整は行いません。
確率的勾配降下法
SGD（確率的勾配降下法）は、最も基本的な学習手法で、慣性や学習率の自動調整といった工夫を含まないシンプルなアルゴリズムです。