問題 No.1028
自然言語処理において、文章をベクトル化する最も古典的な手法の一つであり、単語の出現順序や文法構造を完全に無視し、どの単語が何回出現したかという頻度情報のみを用いてテキストを表現する手法を【 】という。
【正解の解説】
Bag-of-Words
単語の出現回数だけを数えて文章を表現する、非常に単純で古典的な手法です。単語の順番や文脈は全く考えません。
スポンサーリンク
【その他の選択肢の解説】
word2vec
単語を数字のリスト(ベクトル)に変換し、単語同士の意味の近さを計算できるようにする手法です。単語の意味を空間上に配置します。
TF-IDF
単語の出現頻度だけでなく、その単語がどれだけ「珍しいか」を考慮して重み付けをする手法です。重要な単語を強調できます。
Bag-of-n-grams
単語が連続する並び方を考慮する手法です。単語のペアやトリオで出現回数を数えることで、文脈の断片を捉えることができます。