問題 No.1286
自然言語処理の基盤となっているTransformerモデルは、時間的なループ構造を一切持たず、文章内のすべての単語間の依存関係を完全に並列で計算する。このとき、単語の位置や出現順序の情報をモデルに理解させるために、入力される単語ベクトルに対して相対的または絶対的な順序情報を付与する仕組みを何と呼ぶか。
【正解の解説】
位置エンコーディング
位置エンコーディングは、Transformerのように並列処理を行うモデルにおいて、各単語の順番や位置関係を数学的に埋め込む仕組みです。
スポンサーリンク
【その他の選択肢の解説】
Self-Attention
セルフアテンションは、文章内の各単語同士がどの程度の関連性を持つかを計算する仕組みであり、順序情報の付与ではありません。
スキップ結合
スキップ結合は、層を飛び越えて情報を伝えることで、勾配消失を防ぐためのネットワーク構造上の工夫です。
パディング処理
パディングは、入力データの長さを揃えるために空白データを埋める処理のことであり、位置情報とは異なります。