問題番号: No.53 (しっかりモード)

ニューラルネットワークを確率的勾配降下法（SGD）などの単純な手法で最適化する際、損失関数の形状が特定の方向にだけ急峻で、他の方向にはなだらかな谷（例えば「W」字のような形状）になっていると、パラメータの更新ベクトルが谷の壁の間を激しく往復（振動）してしまい、谷の底（最適解）へ向かう前進スピードが著しく低下する課題がある。この進行方向のブレ（振動）を抑制し、物理的な「慣性」のように前回の更新方向を一定割合で引き継ぐことで、最適解へ向けてスムーズに加速させるアプローチはどれか。