問題 No.474
RNNにおいて、時系列データが長くなると学習が困難になる「勾配消失」の主な原因はどれか。
【正解の解説】
長期的な依存関係が連続的な勾配計算で極端に小さくなるため
RNNは過去の情報を順々に伝える性質がありますが、時間が経つにつれ、その情報の伝達力（勾配）が掛け算の結果としてどんどん薄まり、しまいには0になってしまう現象です。遠い過去の記憶が忘れ去られていくようなイメージです。
スポンサーリンク
【その他の選択肢の解説】
計算量の爆発
RNNにおいて計算量が爆発することもありますが、勾配消失の直接的な原因とは異なり、主に学習時間が長くなる問題です。
パラメータの不足
モデルのパラメータ数が足りないこと自体は、学習の限界を招きますが、勾配消失の直接的な原因ではありません。
GPUのメモリ不足
メモリ不足は、計算に必要なデータを一度にたくさん保持できない場合に起こる技術的なエラーであり、モデルの学習の仕組みそのものに起因する勾配消失とは異なります。