問題番号: No.20 (しっかりモード)

時系列データや自然言語を処理する際、従来のRNN（回帰型ニューラルネットワーク）では、文章が長くなればなるほど、最初の方に入力された重要な情報が後ろの層に到達する前に消えてしまう（勾配消失問題）。この長距離の依存関係の忘却を防ぐため、出力の各ステップにおいて、入力データの「特定のどの部分（単語）に強くスポットライトを当てるべきか」を動的に重み付けして計算するメカニズムはどれか。