問題 No.434
Transformerのエンコーダのみを用いたモデルで、文章の前後両方の文脈を考慮して単語の分散表現（埋め込み）を学習する自然言語処理モデルはどれか。
【正解の解説】
BERT
BERT。文章の前後を考慮して、文脈における単語の意味を深く理解できる、エンコーダ構造に基づく自然言語処理モデルです。
スポンサーリンク
【その他の選択肢の解説】
GPT
生成的人工知能(GPT)。文章の「続き」を予測することに特化した、デコーダ構造に基づく自然言語モデルです。
RNN
リカレントニューラルネットワーク(RNN)。過去から未来へ順番に処理を行うため、文章全体を一度に考慮する点ではBERTと異なります。
GAN
敵対的生成ネットワーク(GAN)。画像を生成するような、二つのネットワークを競わせる手法です。