問題 No.1163
ニューラルネットワークの最適化手法の一つであるRMSpropは、基礎的な手法であるAdagradの課題を解消するために提案された。このRMSpropの特徴や、なぜその仕組みが使われるのかに関する記述として、最も不適切なものはどれか。
【正解の解説】
パラメータの更新方向に慣性を持たせることで、平坦な勾配の領域を素早く突破することに特化している。
パラメータの更新方向に慣性を持たせるのは「モーメンタム」などの手法です。RMSpropは学習率を調整することに特化しています。
スポンサーリンク
【その他の選択肢の解説】
Adagradが過去のすべての勾配の二乗和を蓄積し続けることで、学習の後半に学習率がゼロに近づいて停滞してしまう問題を解決するために考案された。
Adagradは過去のすべての勾配を積み上げるため、時間が経つと学習率がどんどん小さくなり止まってしまいます。RMSpropはこの蓄積を適度に忘れる工夫で、学習を停滞させないようにしました。
過去の勾配の情報を指数移動平均を用いて徐々に減衰させながら取り入れることで、直近の勾配の大きさを重視して学習率を動的に調整する。
RMSpropは、過去の情報をそのまま全部使うのではなく、新しい情報ほど重視するように「指数移動平均」という仕組みで重み付けを工夫しています。
非定常な環境やディープラーニングのような複雑な損失関数の形状を持つタスクにおいて、学習の停滞を防ぎ効率的に最適解へ導くことができる。
RMSpropは、環境の変化に柔軟に対応できるため、複雑な計算が必要なディープラーニングにおいて安定した学習を実現するのに役立ちます。