問題 No.1417
ディープラーニングの最適化アルゴリズムにおいて、過去の勾配の移動平均を利用して振動を抑える手法と、過去の勾配の二乗の移動平均を利用して学習率をパラメータごとに自動調整する手法の両方の長所を組み合わせた、現在最も標準的に使われる最適化手法はどれか。
【正解の解説】
Adam
Adamは、勾配の移動平均（慣性）と二乗平均（学習率の自動調整）の両方の良いとこ取りをした手法で、多くの環境で高い性能を発揮する現代の標準的な手法です。
スポンサーリンク
【その他の選択肢の解説】
確率的勾配降下法(SGD)
確率的勾配降下法（SGD）は、データを一つずつ（あるいは少しずつ）取り出して誤差を計算し、モデルのパラメータを少しずつ更新していく最も基本的な最適化手法です。
Adagrad
Adagradは、過去の勾配の大きさに応じて学習率を調整する手法です。学習が進むにつれて学習率が小さくなりすぎてしまう性質があります。
RMSprop
RMSpropは、Adagradの弱点である「学習率が小さくなりすぎる問題」を解決するために、過去の勾配を指数的に減衰させながら平均を取る手法です。