問題 No.34
従来の自然言語処理（GPTなど）では、文章を左から右（または右から左）へと一方向のみに読み込んで次の単語を予測していたため、文脈を片側からしか捉えられず、多義語や複雑な文脈のニュアンスを正確に理解できない課題があった。文脈を左右両方向から完全に同時に学習させることで、質問応答や文章要約など多様なタスクで飛躍的な精度向上を達成した、Google開発のトランスフォーマーベースのモデルはどれか。
【正解の解説】
BERT
BERTは、文章の文脈を左から右、右から左の両方向から同時に処理することで、言葉の深い意味や文脈を正確に理解するGoogle開発のモデルです。
スポンサーリンク
【その他の選択肢の解説】
Word2Vec
Word2Vecは、単語をベクトル化して意味の近さを捉える技術ですが、文脈全体を左右両方向から同時に理解するモデルではありません。
ELIZA
ELIZAは、1960年代に開発された原始的なチャットボットです。自然言語処理技術とは異なります。
fastText
fastTextは、Facebookが開発した単語埋め込み手法で、単語をさらに細かな文字の単位(サブワード)に分割してベクトル化する手法です。