問題 No.416
Transformerのアテンション機構において、Query, Key, Valueの3つを用いる理由として、最も適切なものはどれか。
【正解の解説】
情報の照会、照合対象の選定、実際の情報の重み付けという役割を分離するため
正解です。Query(問合せ先)、Key(照合ラベル)、Value(内容)と役割を分けることで、どの情報を重視すべきかを計算しやすくなり、文脈に応じた情報の抽出が可能になります。
スポンサーリンク
【その他の選択肢の解説】
計算機内のキャッシュメモリを最大限に活用し、速度を上げるため
誤りです。計算機のリソース最適化ではなく、言語モデルとしての文脈理解を深めるための仕組みです。
すべての単語を等しい重要度で平均化し、情報を見逃さないため
誤りです。アテンション機構の目的は、全ての情報を均等に扱うのではなく、重要な情報に注目（アテンション）して重み付けを行うことです。
リカレントニューラルネットワーク(RNN)の隠れ状態を、行列として書き換えるため
誤りです。RNNを書き換えるのではなく、RNNとは全く異なる、並列処理を得意とするアーキテクチャのための機構です。