問題番号: No.375 (しっかりモード)

エッジデバイスに最新のディープラーニングモデルを配置したいが、モデルの容量が大きすぎてメモリに収まらない。そこで、大規模で高精度な教師モデルの出力する各クラスへの確率分布の傾向を、構造が小さく軽量な生徒モデルに真似させるように学習を行うことで、精度低下を抑えつつモデルを圧縮する手法はどれか。