問題 No.36
カスタマーレビューなどのテキストデータを機械学習モデルに入力する際、文章に含まれる単語の出現順序や緻密な文法構造をそのまま維持して処理しようとすると、計算量が膨大になりモデルが複雑化しすぎる問題がある。文章内の単語の並び順を完全に無視し、単に「どの単語が何回出現したか」という頻度（マルチセット）だけで文章を1つのベクトルとして簡潔に表現する手法はどれか。
【正解の解説】
BoW
BoW(Bag-of-Words)は、単語の並び順を無視して、辞書にある各単語が文章中に何回出てきたかという頻度だけを並べたベクトルを作る非常にシンプルな手法です。
スポンサーリンク
【その他の選択肢の解説】
TF-IDF
TF-IDFは、出現頻度に加え「その単語が他の文書と比べていかに珍しいか」という重要度を考慮する手法です。単純な出現回数だけではありません。
Bag-of-n-grams
Bag-of-n-gramsは、単語の並び順を完全に無視するのではなく、n個の単語の並び(n-gram)を単位として数えるため、BoWより複雑です。
LOD
LODは、Web上のデータを相互にリンクさせ、知識を統合する技術の概念であり、テキストベクトル化の手法ではありません。