問題 No.604
文章の空欄予測や誤字脱字の検出など、文章理解タスクで高い性能を発揮する事前学習モデルがある。このモデルが双方向（Bidirectional）の文脈情報を学習できる主な理由はどれか。
【正解の解説】
文章全体を一度に入力し、前後両方の文脈を見て空欄を予測するタスク(Masked Language Model)を設定しているため
BERTなどのモデルは、文章の前後両方を一度に見ることができる仕組みです。空欄の前後の言葉をヒントにして単語を予測する「マスク付き言語モデル(MLM)」という学習方法により、深い文脈理解が可能になります。
スポンサーリンク
【その他の選択肢の解説】
過去の単語のみを参照して学習するため
過去の単語のみを参照するのは、主に文章生成に特化したモデル（GPTなど）の仕組みです。過去の情報だけで文脈を繋げます。
ラベル付きデータを大量に用いて教師あり学習を行うため
ラベル付きデータは教師あり学習に使われますが、BERTが双方向を学習できるのは、文章そのものの構造を工夫しているためです。
トランスフォーマー(Transformer)のデコーダ構造のみを採用しているため
トランスフォーマー(Transformer)のデコーダのみを使うと、後ろの単語を見ることができないため、双方向の学習には向きません。