問題 No.699
ニューラルネットワークの学習を効率的に進めるにはパラメータの更新幅の調整が重要である。勾配の方向がブレやすい問題に対して物理的なボールが転がるような慣性を持たせる工夫と、パラメータごとに更新頻度を記録して学習率を自動調整する工夫の2つの利点を融合させ、現在最も広く使われている最適化手法はどれか。
【正解の解説】
Adam
慣性の力（Momentum）と、パラメータごとの学習率調整（RMSpropに近い仕組み）を組み合わせた現在最も主流の最適化手法です。効率的かつ安定して学習が進みます。
スポンサーリンク
【その他の選択肢の解説】
確率的勾配降下法
データを一つずつ取り出して、その都度パラメータを更新する単純な学習手法です。計算コストは低いですが、更新の方向が安定しないことがあります。
RMSprop
過去の更新幅の平均を参考にし、学習率を調整する手法です。計算が安定しやすく、特にRNNなどで高い効果を発揮します。
Momentum
物理的なボールが転がるようなイメージで、前回の更新方向をある程度引き継ぐことで、ジグザグに進むのを防ぎ、効率的に最適解を目指す工夫です。