問題 No.379
自然言語処理におけるTransformerモデルにおいて、従来のRNNと異なり「位置エンコーディング」という特別な情報を入力に加える必要がある。これが必要な根本的な理由として適切なものはどれか。
【正解の解説】
文中の単語の出現順序という情報を、自己注意機構だけでは扱えないため
Transformerの構造は、すべての単語を同時に処理するため、本来は「どの順番で並んでいるか」という情報を持っていません。そのため、位置エンコーディングを足すことで言葉の順序を教える必要があります。
スポンサーリンク
【その他の選択肢の解説】
RNNの隠れ層の出力を入力として再利用するため、前の情報を保持する必要があるため
位置エンコーディングは、Transformerにおいて単語の並び順を把握するためのものであり、RNNが前の情報を保持する仕組みとは本質的に異なります。
画像認識で用いられる畳み込み層と同様の局所的な空間情報を付与するため
位置エンコーディングはあくまで単語の順番（前後の位置）を示すものであり、画像認識で使われる局所的な空間的な広がりとは役割が異なります。
モデルのパラメータ数を削減し、学習に必要な計算コストを抑えるため
位置エンコーディングを追加することは、位置情報のベクトルを加算する作業であり、パラメータ数を削減するための手法ではありません。