問題 No.949
最適化手法であるAdamの特徴として正しいものはどれか。
【正解の解説】
モーメンタムとAdagradの利点を組み合わせてパラメータごとに学習率を自動調整する
Adamは、勢いを利用して最短距離を目指す手法と、勾配の頻度に応じて調整する手法の長所を組み合わせたものです。パラメータごとに学習率を自動調整するため、非常に使い勝手が良いのが特徴です。
スポンサーリンク
【その他の選択肢の解説】
勾配の移動平均のみを用いて学習率を固定する
勾配の移動平均のみを用いるのはRMSpropなどの手法に関連する考え方であり、Adamはこれに加えてMomentumの概念も取り入れています。
学習データ全体を一度に計算して精度を最大化する
データ全体を一度に計算するのはバッチ勾配降下法です。Adam自体は通常ミニバッチ学習で用いられます。
重みの更新に乱数を加えて局所最適解を回避する
重みの更新に乱数を加えて局所解を回避するのは、初期化の方法やドロップアウトなどのテクニックに関連する概念であり、Adamの主な定義ではありません。