問題 No.1264
決定木をベースにしたアンサンブル学習のアルゴリズムであるXGBoostは、データ分析コンペティション等で高い評価を得ている。この手法が高い予測精度と計算の高速化を両立させている数理的な背景や仕組みとして、最も適切なものはどれか。
【正解の解説】
目的関数の最適化においてテイラー展開による二次近似を利用し、さらにシステムレベルでの並列処理を組み込んでいる。
二次近似を用いることで、誤差を効率よく最小化する方向を正確に計算でき、高速かつ高精度な学習を可能にしています。
スポンサーリンク
【その他の選択肢の解説】
各決定木を完全に独立させて並列に学習し、最終的に多数決をとることで分散を最小化している。
これはランダムフォレストの手法であり、XGBoostのような勾配ブースティングとは異なる仕組みです。
モデルの損失関数に重みの絶対値の和を加算することで、不要な特徴量を自動的に削除している。
これはラッソ回帰の原理であり、XGBoostの主な特徴である効率的な決定木の学習とは異なります。
データの距離計算にマハラノビス距離を用いることで、特徴量間の相関を完全に排除している。
マハラノビス距離はデータ間の関係性を見る統計的な距離ですが、XGBoostの学習の核心的な数理背景とは別の手法です。