問題 No.1043
ニューラルネットワークの最適化において、学習の初期段階ではAdamのように素早く効率的に探索を進め、学習の終盤にかけてはSGDのように汎化性能が向上するように、学習率の範囲を進行状況に応じて自動的に制限していく発展的な最適化手法を【 】という。
【正解の解説】
AdaBound
AdaBoundは、学習の初期にはAdamのように高速に学習を進め、学習が進むにつれてSGDのような安定した動作へと動的に変化させることで、効率と精度の両立を目指した手法です。
スポンサーリンク
【その他の選択肢の解説】
Adam with Weight Decay (AdamW)
AdamWは、Adamに重み減衰(weight decay)を適切に組み合わせることで、学習の安定性と汎化性能を向上させた最適化手法です。
RMSprop
RMSpropは、学習率を個々のパラメータごとに自動調整し、学習の進み具合に合わせて調整を行うことで、不安定な学習を解消しやすくする手法です。
Lookahead
Lookaheadは、パラメータ更新の際に、現在の地点から少し先を見越した更新を行うことで、最適解へより確実に近づこうとする手法です。