問題 No.375
エッジデバイスに最新のディープラーニングモデルを配置したいが、モデルの容量が大きすぎてメモリに収まらない。そこで、大規模で高精度な教師モデルの出力する各クラスへの確率分布の傾向を、構造が小さく軽量な生徒モデルに真似させるように学習を行うことで、精度低下を抑えつつモデルを圧縮する手法はどれか。
【正解の解説】
蒸留
蒸留は、大きな教師モデルの知識（予測確率の分布など）を小さな生徒モデルに継承させる手法です。生徒モデルは教師モデルの判断の「クセ」を学ぶことで、サイズを抑えつつ高い精度を維持できます。
スポンサーリンク
【その他の選択肢の解説】
プルーニング
プルーニングは、ニューラルネットワークの中で重要度の低い接続やニューロンを削除してモデルを小さくする手法であり、今回の問題のような「出力の真似をさせる」学習手法とは異なります。
量子化
量子化は、モデルの重みなどの数値を、例えば32ビットから8ビットのように表現精度を下げることで、メモリ消費量を抑え計算を高速化する手法です。
ファインチューニング
ファインチューニングは、既に学習済みのモデルを特定のタスクに合わせて追加学習させる手法であり、モデルのサイズを小さくするための手法ではありません。