問題 No.1019
大規模で高性能だが計算コストが高い教師モデルの持つ知識を、軽量でパラメータ数の少ない生徒モデルに学習させることで、精度低下を最小限に抑えつつ、エッジデバイスでも動作可能な軽量モデルを構築する手法を【 】と呼ぶ。
【正解の解説】
蒸留
知識蒸留は、大きな教師モデルが出した「答えの候補（確率分布）」を生徒モデルに真似させることで、モデルの賢さを維持したまま、コンパクトなモデルを作る手法です。
スポンサーリンク
【その他の選択肢の解説】
モデル量子化
モデル量子化は、モデルの重みデータを小さい数値形式（32ビット浮動小数点数から8ビット整数など）に変換することで、メモリ使用量を減らす手法です。
枝刈り
枝刈りは、ニューラルネットワークのあまり重要ではない繋がりの重みをゼロにしたり削除したりして、軽量化する手法です。
データラベリング
データラベリングは、学習データに「これは何であるか」という正解タグを付ける作業のことです。