問題 No.603
文章生成や翻訳モデルにおいて、入力文の全単語に対して計算を行うことで、単語間の複雑な依存関係を文脈に応じて動的に捉える仕組みがある。この仕組みの利点として最も適切なものはどれか。
【正解の解説】
遠く離れた単語間の関係性を直接モデル化できるため
遠く離れた単語間の関係性を直接モデル化できるため、文の最初と最後にある単語のつながりも、間に挟まれた言葉の数に影響されずに瞬時に捉えることができます。
スポンサーリンク
【その他の選択肢の解説】
時系列処理を完全に不要にするため
時系列処理を不要にするのではなく、時系列の順序を無視して文中のすべての単語を同時に見渡すことで、並列処理を可能にする手法です。
RNNの勾配消失問題を回避するために特化した最適化手法であるため
勾配消失問題を回避する手法もありますが、ここでの説明の利点はあくまで「単語間の関係性を柔軟に捉えること」にあります。
単語の意味を固定的なベクトルで表現できるため
単語を固定的なベクトルで表現するのではなく、文脈によって意味を柔軟に変える（多義語にも対応する）のがこの仕組みの特徴です。