問題 No.1361
自然言語処理などで標準的に用いられるトランスフォーマーは、再帰型ニューラルネットワークと異なり、時系列データを順次処理せず一括で入力する。そのため、単語の並び順という位置情報をモデルに伝えるために、あらかじめ定義された数理的な規則に基づいて入力ベクトルに位置情報を加算する。この手法の名称はどれか。
【正解の解説】
位置符号化
位置符号化（Position Encoding）は、文章の順番通りに処理できないモデルに対し、数式を使って「この単語は○番目」という情報をベクトルとして付与する手法です。
スポンサーリンク
【その他の選択肢の解説】
自己注意機構
自己注意機構（Attention）は、文中のどの単語とどの単語が関連しているかを計算する仕組みです。位置情報はこれとは別の方法でモデルに教える必要があります。
レイヤー正規化
レイヤー正規化は、層ごとのデータのバラつきを抑えて学習を安定させるための手法であり、位置情報とは直接関係ありません。
ワードエンベディング
ワードエンベディング（単語埋め込み）は、単語を数値のベクトルに変換して意味の近さを表す手法ですが、並び順そのものを示すものではありません。