問題 No.314
Seq2Seqモデルが抱えていた、長い文章を翻訳する際に「冒頭の記憶（文脈情報）が途中で完全に抜け落ちてしまう」という固定長ベクトルのボトルネック課題を劇的に解決した技術である。デコーダで次の単語を出力（生成）する際、エンコーダが圧縮した1つのベクトルだけを見るのではなく、入力文の「どの単語（位置）に強く注目（注視）すべきか」のウェイト（類似度）をタイムステップごとに動的に計算し、関連する入力特徴量を直接引き出して利用する仕組みを何というか。
【正解の解説】
アテンション機構
アテンション機構は、長い文章を翻訳する際に、出力する単語ごとに「どの入力単語に注目すべきか」を計算し、文脈の抜け落ちを解消する仕組みです。
スポンサーリンク
【その他の選択肢の解説】
局所応答正規化
局所応答正規化は、周辺のニューロンの出力を正規化し、強い反応を際立たせるための手法です。
スキップ接続
スキップ接続は、勾配消失を防ぐために、ネットワークの層を飛び越えて情報を伝える仕組みです。
勾配クリッピング
勾配クリッピングは、学習中の勾配が爆発しないように、値に制限をかける手法です。