問題 No.485
学習初期はAdamのような速い収束性を持ち、終盤はSGDのように高い汎化性能を持つように学習率の範囲を制限する最適化手法はどれか。
【正解の解説】
AdaBound
AdaBoundは、学習初期にはAdamのように速く学習が進むようにし、学習終盤には確率的勾配降下法(SGD)のように学習率を制限することで、高い汎化性能を両立させる手法です。
スポンサーリンク
【その他の選択肢の解説】
Adagrad
Adagradは、勾配の二乗和を学習率の調整に利用し、パラメータごとに個別の学習率を設定することで効率的に学習する手法ですが、後半に学習率が低下しやすい特徴があります。
Adam
Adamは、勾配の移動平均などを組み合わせ、学習の序盤から終盤まで安定した収束を目指す、現代のニューラルネットワークで非常によく使われる手法です。
モーメンタム
Momentumは、前回の更新方向の勢いを利用して現在の更新を行うことで、局所最適解から抜け出しやすくし、学習を加速させる手法です。