問題番号: No.1198 (しっかりモード)

自然言語処理の分野において、文章中の特定の単語をマスクして隠し、その周囲の文脈からマスクされた単語を予測するタスク等を通じて、文章を左右の両方向から同時に学習し、多様な自然言語タスクにおいて事前に高精度な文脈表現を獲得できる、Transformerをベースにした言語モデルはどれか。