問題 No.1132
自然言語処理において、単語の重要度を評価する手法であるTF-IDFに関する記述として【不適切なもの】はどれか。
【正解の解説】
すべての文書に共通して出現する一般的な単語も重要度が高く評価される
どの文書にも共通して出てくる言葉（「てにをは」など）は、文章の特徴を区別する役には立たないため、逆に重要度は低く抑えられます。
スポンサーリンク
【その他の選択肢の解説】
単語の出現頻度と逆文書頻度を掛け合わせて算出される
TF-IDFは、単語の出現頻度(TF)と、その単語が珍しいほど重要とする逆文書頻度(IDF)を組み合わせて重要度を算出する手法です。
ある文書内に頻繁に出現する単語ほど重要度が高く評価される傾向がある
ある特定の文書内でたくさん出てくる単語は、その文書の特徴を表していると考えられ、重要度が高く評価されます。
ディープラーニング以前から広く使われている特徴量抽出手法である
ディープラーニング以前から検索エンジンのキーワード抽出などで伝統的に広く使われてきた、シンプルかつ強力な手法です。