問題 No.1435
Transformerモデルの核心技術であり、「入力系列内のどの単語が、どの単語と強く関連しているか」を動的に重み付けして計算する機構はどれか。
【正解の解説】
アテンション
Attention機構は、文章中の各単語同士の関連性を計算し、特に重要な単語に注目して重み付けを行うことで、文全体の意味を正しく理解するための技術です。
スポンサーリンク
【その他の選択肢の解説】
再帰的接続
再帰的接続は、RNN（リカレントニューラルネットワーク）などのモデルで、過去の情報を順番に引き継ぐ仕組みのことです。
フィルタ
畳み込みフィルタは、主に画像処理で局所的な特徴を抽出するために使われるもので、Transformerの主な機構ではありません。
ゲート機構
ゲート機構は、必要な情報だけを通し、不要な情報を遮断するためにLSTMなどで用いられる仕組みのことです。