問題 No.565
Transformerにおいて、文中の各単語が、他のどの単語と強い関連性を持つかを動的に計算する機構はどれか。
【正解の解説】
Self-Attention
Self-Attentionは、文の中にある自分自身（他の単語）にどれくらい注目すべきかを計算する仕組みです。これにより「この言葉は文中のどの単語と深く関係しているか」を理解します。
スポンサーリンク
【その他の選択肢の解説】
畳み込み
畳み込みは、画像認識でフィルターをスライドさせ、局所的な特徴を抽出する処理のことです。Transformerでは、空間的な情報ではなく単語間の関係性を扱う仕組みが使われます。
再帰処理
再帰処理は、RNNのように以前の情報を逐次的に受け取っていく方法です。Transformerは再帰処理をせず、文全体を一度に並列処理する仕組みです。
ゲート処理
ゲート処理は、LSTMなどで情報を取捨選択するために使われるスイッチのような仕組みです。Self-Attentionとは計算の目的や構造が異なります。