問題 No.725
最適化アルゴリズムにおいて、谷間の地形でパラメータが激しく振動するのを防ぐため、過去の勾配の移動平均を用いて現在の更新方向を滑らかに補正し、最適解への収束を加速させる手法はどれか。
【正解の解説】
Momentum
Momentumとは、ボールが坂道を転がり落ちる時の慣性のように、過去の更新の勢いを利用して、最適解へ向かって滑らかかつ加速的に更新を進める手法です。
スポンサーリンク
【その他の選択肢の解説】
Adadelta
Adadeltaとは、学習率を自動調整し、過去の勾配の変化量に応じて学習ステップの大きさを制御することで効率的に学習する手法です。
AdaBound
AdaBoundとは、学習の初期は学習率を大きく、後期には小さく抑えることで、収束の安定性と速度を両立させるアルゴリズムです。
SGD
確率的勾配降下法(SGD)とは、データの一部だけを使って誤差を計算し、パラメータを少しずつ更新していく基本的な学習方法です。