問題 No.816
ニューラルネットワークの最適化手法を選択する際、学習初期は計算が速いオプティマイザの性質を持ち、学習終盤は汎化性能（テストデータへの性能）が高くなる手法の性質へとなめらかに移行するように学習率を動的に制限した、双方の利点を併せ持つ手法はどれか。
【正解の解説】
AdaBound
AdaBoundは、学習初期の素早い収束と、学習後期の安定した学習率という両方の良さを兼ね備えた、学習率を動的に制限する手法です。
スポンサーリンク
【その他の選択肢の解説】
SGD
SGD（確率的勾配降下法）は、最も基本的な最適化手法の一つで、学習率の調整などを自動的に行う機能は含まれていません。
RMSprop
RMSpropは、過去の勾配の移動平均を使って学習率を自動調整する手法ですが、終盤の性能については別途工夫が必要です。
Momentum
Momentumは、過去の勾配の「慣性」を利用して、局所的な最適解から抜け出しやすくする手法です。