問題 No.728
Adamは非常に収束が速い一方で、一部のタスクにおいて最終的な汎化性能が基礎的な手法に劣るという課題があった。この課題を克服するため、学習の進行に伴って学習率の下限と上限を徐々に狭め、最終的に別の基礎的な挙動へ滑らかに移行させるオプティマイザはどれか。
【正解の解説】
AdaBound
AdaBoundは、学習の初期段階ではAdamのように素早く収束させ、学習が進むにつれて学習率の変動範囲を狭めることで、最後は確率的勾配降下法（SGD）のような安定した挙動へ近づけるオプティマイザです。
スポンサーリンク
【その他の選択肢の解説】
AMSBound
AMSBoundは、Adamなどの適応的学習率手法を改良したもので、学習率を特定の範囲内に収めることで、学習終盤の収束を改善する手法です。
RMSprop
RMSpropは、過去の勾配の蓄積の影響を抑えることで、学習の停滞を防ぐ優れた手法ですが、Adam特有の汎化性能の課題を解決するものではありません。
Adadelta
Adadeltaは、Adagradの学習率が低下する問題を改善するために開発されました。過去の勾配の蓄積に「窓（Window）」という考え方を導入し、学習率を減衰させないように工夫した手法です。