問題 No.607
時系列データを扱うモデルにおいて、過去の情報を内部状態として保持しながら逐次処理を行うものがある。このモデルで「長期的な依存関係」の学習が困難な主な理由はどれか。
【正解の解説】
勾配を計算する際に、過去の層へ遡るにつれて勾配消失問題または勾配爆発問題が発生してしまうため
リカレントニューラルネットワーク(RNN)は、過去の情報を順番に掛け算して伝えます。長い文章ほど掛け算の回数が増え、誤差を伝える際に値がゼロになったり（消失）、膨大になったり（爆発）し、過去の記憶が薄れてしまいます。
スポンサーリンク
【その他の選択肢の解説】
計算速度が遅すぎるため
計算速度の問題も重要ですが、学習そのものができない理由としては適切ではありません。
入力データがノイズに弱いため
ノイズへの弱さはモデル全般の課題ですが、RNNの長期記憶が困難な根本的な原因は勾配の問題です。
単語埋め込みが固定されているため
単語の埋め込みベクトルが固定されているかどうかは、文脈保持の成否とは別の問題です。