問題 No.1419
時系列データや自然言語を扱う再帰型ニューラルネットワークにおいて、長い系列を学習しようとすると勾配消失問題が発生し、長期的な依存関係を学習できないという欠点があった。これを解決するために、入力・忘却・出力という3つのゲート機構と、長期記憶を保持するためのセル状態と呼ばれる経路を導入したモデルはどれか。
【正解の解説】
LSTM
LSTMは、情報を保持するセル状態と、情報を入れるか、忘れるか、出力するかを制御する3つのゲート機構を持つことで、長い系列データを効率的に学習できるRNNの一種です。
スポンサーリンク
【その他の選択肢の解説】
GRU
GRUは、LSTMを簡略化したモデルで、ゲートの数を減らすことで計算量を抑えつつ、長期的な依存関係を学習できるようにした構造を持っています。
トランスフォーマー
Transformerは、RNNを使わず、アテンションという機構のみを用いて系列全体の情報を一度に処理するモデルで、現在の言語モデルの主流となっています。
CNN
CNNは、主に画像認識で使われる、空間的な特徴を抽出することに特化したニューラルネットワークのアーキテクチャです。