問題 No.20
時系列データや自然言語を処理する際、従来のRNN（回帰型ニューラルネットワーク）では、文章が長くなればなるほど、最初の方に入力された重要な情報が後ろの層に到達する前に消えてしまう（勾配消失問題）。この長距離の依存関係の忘却を防ぐため、出力の各ステップにおいて、入力データの「特定のどの部分（単語）に強くスポットライトを当てるべきか」を動的に重み付けして計算するメカニズムはどれか。
【正解の解説】
アテンション
Attention（アテンション/自己注意機構）とは、長い文章や時系列データを処理する際、出力の各ステップに応じて入力データの「どの部分を重視して見るべきか」を動的に重み付けし、情報の損失を防ぐための極めて重要な仕組みです。
スポンサーリンク
【その他の選択肢の解説】
CEC
CEC（常時誤差カルーセル）とは、LSTMブロックの内部に備わっている、勾配消失を防ぐために誤差（情報）を一定のまま保持し続けるための記憶セルのことです。
LSTM
LSTMとは、ゲートという仕組みを用いて情報の「保持」と「忘却」をコントロールすることで、RNNよりも長期の情報を保持できるように改良したネットワーク構造ですが、動的に「どの部分にスポットライトを当てるか」を単体で直接決定するアテンションとは異なります。
BPTT
BPTT（Backpropagation Through Time）とは、RNNにおいて時間を過去にさかのぼって誤差逆伝播を行い、パラメータを更新するための学習アルゴリズムのことです。