問題 No.383
膨大なテキストデータから汎用的な言語モデルを事前学習する際、教師データを作るコストを抑えつつ、モデルに言語の構造を理解させるために「マスク言語モデル」という手法がとられる。この手法の目的として最も適切なものはどれか。
【正解の解説】
文中のランダムに隠された単語を周囲の文脈から予測させることで、言語的な関係性を学習させるため
マスク言語モデル(MLM)は、文章の一部を伏せ字（マスク）にして、周囲の文脈からその言葉を当てさせることで、言葉の並びや意味のつながりをモデル自身に学習させる手法です。
スポンサーリンク
【その他の選択肢の解説】
入力された文章を、翻訳先として定義された別の言語の文章に置換して学習するため
これは機械翻訳などのタスクで行われる手法であり、マスク言語モデル(MLM)の直接的な目的ではありません。
膨大なラベル付きデータを専門家が用意し、その正解ラベルの偏りを自動で修正するため
マスク言語モデル(MLM)はラベル付きデータを使わず、テキストデータさえあれば自動的に学習可能なため、コストを抑えられるのが大きなメリットです。
生成した画像とテキストのペアを判別器で評価し、より人間らしい文章を生成させるため
これは敵対的生成ネットワーク(GAN)のような仕組みであり、マスク言語モデル(MLM)の目的とは異なります。