問題 No.29
音声データや株価変動などの時系列データを処理する際、単純なRNN（回帰型ニューラルネットワーク）では、過去の時系列のステップが長くなると、誤差逆伝播の過程で勾配が途中で完全に消滅してしまう。この長期記憶の保持という課題を解決するため、ネットワークの内部に「入力ゲート」「出力ゲート」「忘却ゲート」という3つの制御弁と、情報をストックする「記憶セル」を組み込んだ構造はどれか。
【正解の解説】
LSTM
LSTMは、情報を長期的に保持するための「記憶セル」と3つのゲート構造を持つRNNの拡張モデルです。勾配消失問題を解決し、長期間の文脈保持を可能にします。
スポンサーリンク
【その他の選択肢の解説】
GRU
GRUは、LSTMの構造をよりシンプルにしたモデルです。制御ゲートを2つに減らすことで、計算効率を向上させています。
BiRNN
BiRNNは、時系列データを「過去から未来」と「未来から過去」の両方向に処理する構造です。情報を長期間保持する機能自体はLSTMなどが担います。
Transformer
Transformerは、RNNを使わず、自己注意機構（Attention）を用いることで並列計算を可能にした最新のアーキテクチャです。