問題 No.1242
自然言語処理モデルのTransformerの核となる技術であり、入力シーケンス内のすべての位置のペアに対して関連度を同時に計算する【 】を用いることで、RNNのような時系列の順次処理を行わずに長距離の依存関係の学習と並列計算を可能にした。空欄に当てはまる最も適切なものはどれか。
【正解の解説】
自己注意機構
自己注意機構は、文章中の各単語が、他のどの単語と強く関係しているかを計算する仕組みです。文脈を全体で捉えることができるため、並列処理が可能となりTransformerの飛躍的な性能向上をもたらしました。
スポンサーリンク
【その他の選択肢の解説】
リカレント機構
リカレント機構は、時系列情報を順番に一つずつ読み込む仕組みで、RNNなどで用いられます。長距離の文脈を覚えるのが苦手で、計算も並列化しにくい特徴があります。
ゲート機構
ゲート機構は、情報の流れ（何を残し、何を忘れるか）を制御する仕組みで、LSTMなどで活用されています。
ストライド
ストライド機構は、主に畳み込み層においてフィルタをどれくらい飛ばして動かすかという移動量のことです。