問題 No.173
Googleが開発した自然言語処理モデルであるBERTは、文脈を双方向から深く理解するために、ユニークな事前学習タスクを採用している。大量のテキストデータの一部（全体の約15%の単語）をランダムに「特殊なマスク」で隠し、モデルに対して、前後の文脈だけを頼りにその隠された単語が何であるかを予測させる学習手法を何というか。
【正解の解説】
マスク言語モデル
文中の単語をランダムに隠し、その隠された部分が何であったかを周囲の言葉から当てる学習法です。これにより、単語の文脈による意味の違いを深く理解させることができます。
スポンサーリンク
【その他の選択肢の解説】
次文予測
2つの文章が与えられたとき、それらが順番通りに並んでいるかどうかを判定させる学習タスクです。
セルフアテンション
文章の中の特定の単語が、他のどの単語と関係が深いかを判断するための注意機構です。文全体の文脈を汲み取るために使われます。
知識蒸留
高性能だが巨大なモデルの知識を、軽量なモデルに伝授することで、性能を保ちつつ動作を軽くする手法です。