問題 No.724
学習の初期は最適化の進行が速いが、終盤になると過去の勾配の二乗和が蓄積しすぎて学習率が極端に低下し、更新が停滞してしまうオプティマイザはどれか。
【正解の解説】
Adagrad
Adagradは、各パラメータごとに個別の学習率を設定し、更新回数が多いものは学習率を下げる手法です。しかし、過去の勾配の二乗和をすべて加算し続けるため、学習が進むと学習率がゼロに近づいて動かなくなる欠点があります。
スポンサーリンク
【その他の選択肢の解説】
RMSprop
RMSpropは、過去の勾配の大きさに応じて学習率を調整する手法です。過去の蓄積に重みを置きすぎないよう指数移動平均を用いることで、Adagradの弱点である学習の停滞を回避します。
Momentum
Momentumは、勾配を加速させる手法です。ボールが坂を転がるような動きをシミュレートすることで、局所最適解に陥るのを防ぎ、効率的に最適解へ向かうことができます。
Adam
Adamは、Momentumの「加速」とRMSpropの「学習率の自動調整」という2つの長所を組み合わせたオプティマイザです。幅広いタスクで高い性能を発揮するため、現在最も広く利用されています。