問題番号: No.728 (しっかりモード)

Adamは非常に収束が速い一方で、一部のタスクにおいて最終的な汎化性能が基礎的な手法に劣るという課題があった。この課題を克服するため、学習の進行に伴って学習率の下限と上限を徐々に狭め、最終的に別の基礎的な挙動へ滑らかに移行させるオプティマイザはどれか。