問題 No.553
BERTの事前学習において、文中の単語をランダムに隠し（Masking）、その単語を周囲の文脈から予測させることで言語表現を学習するタスクを何というか。
【正解の解説】
Masked LM
Masked Language Model（Masked LM）は、文中の単語を伏せた状態で、文脈からその隠された単語を当てる学習タスクです。これで言葉の深い意味を理解できます。
スポンサーリンク
【その他の選択肢の解説】
NSP（次文予測）
NSP（次文予測）は、与えられた二つの文が本来連続しているかどうかを判定させるタスクです。これによりBERTは文同士のつながりも理解できるようになります。
Seq2Seq
Seq2Seqは、入力系列を別の系列（翻訳や要約など）に変換するモデルの仕組みです。EncoderとDecoderの二段構えで構築されるのが一般的です。
Attention
Attentionは、文章の中で重要な言葉に注目して重み付けをする仕組みです。文脈を理解する上で現代のAI技術の根幹となっている非常に重要な機構です。