問題 No.369
機械翻訳において、入力された文章を一度固定長のベクトルに圧縮し、そこから翻訳後の文章を生成するエンコーダデコーダ構造のモデルがある。このモデルが長文の翻訳において精度が著しく低下してしまう根本的な理由として、不適切な記述はどれか。
【正解の解説】
デコーダが翻訳文を生成する際、常にすべての入力単語の重要度を動的に再計算してしまい、処理が追いつかなくなるため。
これは誤りです。実際には「注意機構（Attention）」を用いることで、翻訳の各ステップで重要な単語に動的に注目することが可能になります。これが、むしろ従来のエンコーダデコーダモデルの弱点を克服する技術そのものです。
スポンサーリンク
【その他の選択肢の解説】
文章が長くなると、文の冒頭部分の文脈情報がベクトル圧縮の過程で失われやすいため。
一度固定長のベクトルに圧縮すると、文章が長くなるほど最初のほうの言葉が記憶からこぼれ落ちてしまう（忘却してしまう）ことがボトルネックの大きな原因となります。
すべての入力情報を常に同じ長さの1つのベクトルの中に無理やり詰め込む必要があるため。
どんなに長い文章でも、決められた箱（固定長ベクトル）の容量に無理やり押し込まなければならないため、情報の圧縮により細かい意味が失われてしまいます。
単語間の複雑な修飾関係を、一つの圧縮された空間ベクトルだけで表現しきれないため。
言葉同士の複雑なつながりや修飾関係は非常に多岐にわたるため、たった一つの圧縮されたベクトルの中ですべてを表現しきるのは限界があります。