問題 No.717
Transformerモデルにおいて、文章中の特定の単語が、同じ文中の他のどの単語と強く関連しているかを計算し、その単語の「文脈」をベクトル化する仕組みを何と呼ぶか。
【正解の解説】
セルフアテンション
セルフアテンションとは、文章内の各単語が、同じ文中の他のどの単語と強く結びついているかを計算し、単語の文脈を理解する仕組みです。人間が文章を読むとき、重要な言葉に注意を向けるのと似ています。
スポンサーリンク
【その他の選択肢の解説】
畳み込み
畳み込みとは、画像処理などで、ある小さな領域（フィルタ）をずらしながら特徴を抽出する演算処理のことです。
バックプロパゲーション
誤差逆伝播法（バックプロパゲーション）とは、予測と実際の答えとのズレ（誤差）を、後ろから前の層へ伝えてパラメータを修正していく学習手法です。
プーリング
プーリングとは、画像などのデータを圧縮し、重要な情報だけを残して計算量を減らす処理のことです。