問題 No.818
最適化手法であるAdaBoundをベースに、学習率の動的な変化において「単調減少性」を厳密に保証する制約を加えることで、学習後半の挙動をさらに安定させ、より確実な収束を目指した改良手法はどれか。
【正解の解説】
AMSBound
AMSBoundは、AdaBoundの改良版で、学習率の変化に「単調減少」という条件を厳しく課すことで、終盤の学習をさらに安定させたものです。
スポンサーリンク
【その他の選択肢の解説】
Adadelta
Adadeltaは、学習率の調整をより自動化し、手動での設定を不要にした手法の一つです。
Adamax
Adamaxは、Adamという手法をベースに、最大値を用いた計算を取り入れることで一部の数値を安定させた手法です。
Nadam
Nadamは、AdamにMomentumの考え方を組み合わせて、学習の収束を速めた手法です。