問題 No.1198
自然言語処理の分野において、文章中の特定の単語をマスクして隠し、その周囲の文脈からマスクされた単語を予測するタスク等を通じて、文章を左右の両方向から同時に学習し、多様な自然言語タスクにおいて事前に高精度な文脈表現を獲得できる、Transformerをベースにした言語モデルはどれか。
【正解の解説】
BERT
BERTは、文章中の単語を隠して周囲から推測するタスクを解くことで、文脈を双方向から深く理解するモデルです。Transformerの仕組みを最大限に活かし、高精度な文脈理解を実現した代表的な言語モデルです。
スポンサーリンク
【その他の選択肢の解説】
GPT
GPTは、前の単語から次の単語を予測する「左から右」の単語生成を得意とする言語モデルです。文章を双方向から学習するBERTとは構造上の方向性が異なります。
word2vec
word2vecは、単語をベクトル（数値の並び）に変換する手法です。単語同士の意味の近さを扱えますが、文脈を考慮して文章全体を解析する機能は持っていません。
RNN
リカレントニューラルネットワーク(RNN)は、時系列データを順番に処理するための基本的なニューラルネットワーク構造です。文脈を保持することはできますが、現在の最新モデルのような高度な事前学習やTransformerのような効率的な並列処理には限界があります。