問題 No.382
Seq2Seqモデルにおいて、入力文が長くなった際に精度が低下する問題を解消するために「アテンション」が導入された。アテンションが長文に対しても高い精度を維持できる理由として、不適切な記述はどれか。
【正解の解説】
モデルの層の深さを自動的に調整し、文章の長さに応じて計算能力を拡張できるため。
アテンションはモデルの層の深さを自動調整する機能ではなく、モデルの構造内で注目する箇所を動的に選択する仕組みです。
スポンサーリンク
【その他の選択肢の解説】
出力する単語を生成するたびに、入力文の全単語に対する重要度を動的に再計算するため。
アテンションは、出力する単語ごとに「入力文のどこを注目すべきか」を計算します。これにより、長い文章でも文脈の重要箇所を拾うことができます。
固定長のベクトルに全情報を圧縮するのではなく、入力文全体の単語列を直接参照できるため。
従来のSeq2Seqは固定長のベクトルに全情報を詰め込んでいたため情報が欠落しやすかったのですが、アテンションはそのボトルネックを解消しています。
重要な単語に高い重み（スコア）を割り当てることで、文脈に合わせた柔軟な翻訳を可能にするため。
重要な単語に高いスコアを割り当てて重み付けすることで、文脈に応じた翻訳を実現します。