問題 No.101
自動運転の車載システムやスマートフォンなど、計算資源（CPUやメモリ）が極めて限定された環境で、最新の巨大なAIモデル（教師モデル）と同等の高精度な推論を行わせたい。教師モデルが出力する「各クラスへの確率分布（ソフトターゲット）」を、サイズが遥かに小さく軽量な「生徒モデル」に学習用の目標として与えることで、精度を維持したままコンパクトなモデルを育てる技術はどれか。
【正解の解説】
知識蒸留
知識蒸留は、大きなモデルの賢さを小さなモデルに教え込み、軽量でも賢いモデルを作る技術のことです。
スポンサーリンク
【その他の選択肢の解説】
プルーニング
プルーニングは、モデル内の重要でないパラメータを削減して軽量化する手法のことです。
量子化
量子化は、数値の精度（桁数）を落とすことで、モデルのサイズを小さくする手法のことです。
データ拡張
データ拡張は、既存のデータを回転させたり加工したりして、学習データを人工的に増やす手法です。