問題 No.215
手元にある訓練データを「学習用」と「テスト用」の2つ（例えば8対2）に単純に分割して評価を行うホールドアウト法において、過学習や汎化性能を測定する際に注意すべき【最大のデメリット】に関する記述として、適切なものはどれか。
【正解の解説】
データの分割のされ方（偏り）によって評価スコアが偶然良くなったり悪くなったりし、結果が不安定になりやすい
ホールドアウト法はデータをランダムに分割するため、たまたま学習しやすいデータばかりがテスト用に選ばれると評価が良く出たり、逆に難しいデータばかり選ばれると評価が下がったりと、分割の仕方に結果が左右されやすい点が弱点です。
スポンサーリンク
【その他の選択肢の解説】
計算量が交差検証に比べて爆発的に増大するため、巨大なデータセットの処理には全く使えない
交差検証（クロスバリデーション）はデータを何度も入れ替えて評価するため計算負荷は高いですが、ホールドアウト法は一度しか実行しないため、計算量が増大するという記述は誤りです。
訓練データの中に不要な特徴量が含まれていると、行列の多重共線性が原因で回帰係数の計算が絶対に破綻してしまう
多重共線性は回帰モデルなどで変数間の相関が非常に強い場合に発生する問題ですが、ホールドアウト法のデメリットの核心ではありません。
正解ラベルの絶対値の平均をとるため、外れ値によるペナルティの過剰な跳ね上がりがなく、堅牢な評価ができない
外れ値への影響や堅牢性については、誤差関数の定義や正則化手法などのトピックであり、ホールドアウト法そのもののデメリットの定義とは異なります。