問題 No.576
Transformerにおいて、Query(Q)、Key(K)、Value(V)を用いて、入力内の各単語同士の関係性を計算し、文脈を捉える機構を何と呼ぶか。
【正解の解説】
Scaled Dot-Product Attention
Scaled Dot-Product Attentionは、Query（探したいもの）、Key（見出し）、Value（内容）という概念を用いて、単語同士の関連度を計算する手法です。文脈を理解するTransformerの心臓部です。
スポンサーリンク
【その他の選択肢の解説】
畳み込み
畳み込みは、主に画像認識において、局所的な模様や特徴を抽出する手法です。文脈全体の単語の関係性を捉える仕組みとは異なります。
プーリング
プーリングは、情報の塊を小さくまとめて、重要な情報だけを残すダウンサンプリングの手法です。文脈の関係性を解明する計算ではありません。
再帰処理
再帰処理は、RNNなどで用いられる過去の情報を順に辿っていく処理です。Transformerはこれをあえて行わず、Attentionを用いて並列に処理する設計になっています。