問題 No.42
Word2Vecのような従来の単語分散表現モデルでは、あらかじめ用意したコーパス（学習データ）に出現しなかった未知の単語（Out-of-Vocabulary）がテスト時に現れると、その単語のベクトルを一切生成できず、システムのエラーや精度低下を引き起こす致命的な課題があった。単語を文字単位の集まり（部分語）に分解して内部構造を学習することで、未知の単語に対しても前後の文字の並びからその意味ベクトルを推測・表現できるようにした手法はどれか。
【正解の解説】
fastText
fastTextは、単語を文字の並び（部分語）に分解して扱う手法です。これにより、未知の単語が現れても、既知の部分語から意味を推測できるため、従来のモデルの弱点を克服しています。
スポンサーリンク
【その他の選択肢の解説】
CBOW
CBOWは、周囲の単語から中心の単語を予測する手法です。単語を単一の単位として扱うため、コーパスに含まれない未知の単語に対応できません。
Skip-gram(スキップグラム)
Skip-gramは、中心の単語から周囲の単語を予測する手法です。CBOWと同様、単語単位での学習が前提となるため、未知の単語をベクトル化することはできません。
Bag-of-Words
Bag-of-Wordsは、文章中の単語の出現回数を数える手法です。単語の出現順序や内部構造を無視するため、未知の単語への対応能力はありません。