問題 No.850
従来のRNNに代わりTransformerが現在の自然言語処理モデルの主流となった理由として不適切なものはどれか。
【正解の解説】
テキストデータと同時に画像のピクセル情報や音声の波形データを事前に特別な加工なしに完全に同一の数理モデルで直接同時に圧縮学習できる唯一の手法だから
Transformerの構造は強力ですが、テキスト、画像、音声をそのまま同一モデルで直接圧縮学習できるという説明は過大であり、入力形式に合わせた適切な前処理や設計が必要です。
スポンサーリンク
【その他の選択肢の解説】
文章内の単語を順番に1つずつ処理する必要がなく、すべての単語を同時に並列処理できるため計算速度が向上した
Transformerは全単語を同時に処理できるため、RNNのように1つずつ待つ必要がなく、計算の効率が大幅に向上しました。
自己注意機構を導入したことで、文頭と文末のような遠く離れた単語間の関係性を正確に捉えられるようになった
自己アテンションメカニズムにより、文中の全ての単語同士の関係を直接計算できるため、遠く離れた言葉同士の結びつきも容易に見つけられます。
大規模なテキストコーパスを用いた事前学習において計算能力を最大限に活かした大規模言語モデルの構築が可能になった
並列処理が可能なTransformerは、大規模なデータで学習させる際に計算資源を最大限活用できるため、現在の大規模言語モデルの基盤となっています。