問題 No.1176
2018年にGoogleから発表された自然言語処理モデルであり、ニューラルネットワークのアーキテクチャにTransformerを採用している。テキストを左から右、あるいは右から左へと一方向に読み込むのではなく、文脈を「左右両方向から同時に」学習することで、多義語や複雑な文脈を極めて正確に捉えられるようになった、その後の大規模言語モデルの基礎を築いたモデルはどれか。
【正解の解説】
BERT
Transformerという仕組みを使い、文章を左右両方向から同時に読むことで文脈を深く理解するモデルです。
スポンサーリンク
【その他の選択肢の解説】
word2vec
単語を数値の列に変換して、単語同士の意味の近さを捉える手法です。
RNN
時系列データを扱うためのニューラルネットワークの基本的な仕組みで、現在の情報を前の情報に依存させて学習します。
GPT
GPTは左から右へ順に文脈を読み込むモデルであり、左右両方向からの学習はBERTの特徴です。