問題 No.1151
ニューラルネットワークの学習で用いられる最適化手法であるAdamの特徴や適用場面に関する記述として不適切なものはどれか。
【正解の解説】
学習の進行に伴って学習率が単調に減少することを保証する制約が追加されており、学習終盤で必ず高い汎化性能を獲得できる。
Adamには学習率を自動調整する機能はありますが、学習終盤で必ず高い汎化性能が保証されるという制約や仕組みは存在しません。
スポンサーリンク
【その他の選択肢の解説】
過去の勾配の移動平均を用いて更新方向に慣性を持たせることで、最適解へ向かう際の振動を抑制する。
過去の計算結果の勢い（慣性）を考慮して進む方向を修正する手法です。これにより、ジグザグに動く無駄な振動を抑え、スムーズに最適解へ近づきます。
過去の勾配の二乗和の移動平均を用いることで、パラメータごとに学習率を自動的に調整する機能を持つ。
過去の勾配の変化量に応じて、パラメータごとに学習のスピードを自動調整します。変化の大きいところは慎重に、小さいところは大胆に調整します。
ハイパーパラメータの初期設定に対する依存度が比較的低く、多くのタスクでデフォルトの設定のまま高速に収束しやすい。
初期設定のままでも多くの課題でうまく機能するため、専門的な調整にあまり時間をかけずに素早く学習が進められる便利な手法です。