問題番号: No.23 (しっかりモード)

自然言語処理モデルであるBERTの事前学習において、単語を左から右へと一方向のみに予測する従来の言語モデル（GPTなど）とは異なり、文章の「左側の文脈」と「右側の文脈」の両方を同時に深く考慮させたい。この目的を達成するため、入力文章中の一部の単語をランダムに特殊なトークン（MASK）で隠し、その前後の双方向の文脈から隠された元の単語を当てさせる事前学習タスクはどれか。