Googleが開発した自然言語処理モデルであるBERTは、文脈を双方向から深く理解するために、ユニークな事前学習タスクを採用している。大量のテキストデータの一部(全体の約15%の単語)をランダムに「特殊なマスク」で隠し、モデルに対して、前後の文脈だけを頼りにその隠された単語が何であるかを予測させる学習手法を何というか。 トップへ戻る 次へ進む スポンサーリンク