問題 No.426
RNNの課題である長距離の依存関係の学習が困難な問題を解決するため、入力・忘却・出力の3つのゲート機構を導入したモデルはどれか。
【正解の解説】
LSTM
ロング・ショート・テーム・メモリ(LSTM)。「入力」「忘却」「出力」の3つのゲートで重要な情報を保持し、古い情報を消去することで、長い文章でも文脈を忘れにくくした構造です。
スポンサーリンク
【その他の選択肢の解説】
GRU
ゲート付き回帰型ユニット(GRU)。LSTMよりもシンプルな構造で、情報の取捨選択を行うゲートを調整することで同様の課題解決を目指すモデルです。
Transformer
トランスフォーマー(Transformer)。文脈を扱う際、ゲートではなく「注意機構」を用いることで、長距離の依存関係を効率的に学習します。
CNN
畳み込みニューラルネットワーク(CNN)。画像認識において局所的な情報を捉えるための層であり、時系列データの記憶保持とは目的が異なります。