問題番号: No.1290 (しっかりモード)

エッジデバイスのような計算資源やメモリ容量が極端に制限された環境において、巨大で高精度な大規模モデルと同等の推論性能を発揮させたい。大規模な教師モデルが出力する各クラスへの確率分布の傾向を目標値として、構造が小さく軽量な生徒モデルに学習させることで、精度低下を抑えつつモデルを劇的に圧縮する手法はどれか。