問題 No.23
自然言語処理モデルであるBERTの事前学習において、単語を左から右へと一方向のみに予測する従来の言語モデル（GPTなど）とは異なり、文章の「左側の文脈」と「右側の文脈」の両方を同時に深く考慮させたい。この目的を達成するため、入力文章中の一部の単語をランダムに特殊なトークン（MASK）で隠し、その前後の双方向の文脈から隠された元の単語を当てさせる事前学習タスクはどれか。
【正解の解説】
Masked Language Model
Masked Language Modelは、入力文章の一部を隠して、周囲の文脈から隠された単語を予測させるタスクです。これによりBERTは双方向の深い文脈理解が可能になります。
スポンサーリンク
【その他の選択肢の解説】
Next Sentence Prediction
Next Sentence Predictionは、2つの文が連続しているかを判定するタスクです。文章の構造理解には役立ちますが、単語の穴埋めタスクではありません。
Continuous Bag-of-Words
Continuous Bag-of-Wordsは、周囲の単語から中心の単語を予測するword2vecの手法です。文脈全体を双方向で扱うBERTの仕組みとは異なります。
Skip-gram
Skip-gramは、ある単語から周囲の単語を予測するword2vecの手法です。BERTのような文章全体の文脈理解を目的としたモデルではありません。