問題 No.550
AdaGradが学習後半に学習率がゼロに近づきすぎてしまう問題を解決するために、過去の勾配の移動平均を算出し、それを用いて学習率を調整する手法はどれか。
【正解の解説】
RMSprop
RMSpropは、過去の勾配の平均を計算する際に「指数加重移動平均」を用いることで、学習が進むにつれて学習率が極端に小さくなってしまう問題を調整し、効率的に学習を進める手法です。
スポンサーリンク
【その他の選択肢の解説】
モーメンタム
Momentumは、ボールが坂を転がるような物理的な勢いの概念を取り入れた手法です。過去の勾配の情報を「慣性」として利用し、振動を抑えつつ最適値へ素早く向かうために使われます。
Adam
Adamは、MomentumとRMSpropの両方の良い点を組み合わせた手法です。過去の勾配の平均と二乗平均の両方を管理することで、より安定して効率的に学習率を自動調整します。
確率的勾配降下法(SGD)
SGDは、データを一つずつ（あるいは少量のバッチで）処理してパラメータを更新する最も基本的な勾配降下法です。学習率の調整は行わず、固定された学習率で更新を行います。