問題 No.1066
ディープラーニングにおいてモデルを軽量化する手法の一つである蒸留に関する説明として、最も適切なものを1つ選べ。
【正解の解説】
大規模で高精度なモデルの出力を再現するようにより小さなモデルを訓練する。
蒸留は、先生役となる巨大で高性能なモデルの知識を、生徒役の小さなモデルに教え込み、性能を維持しつつモデルを軽量化する技術です。
スポンサーリンク
【その他の選択肢の解説】
重みの値がゼロに近い不要なニューロンを物理的に削除することでネットワークを小さくする。
重みを削除する手法はプルーニング（枝刈り）と呼ばれ、蒸留とは異なるアプローチです。
パラメータの浮動小数点数の精度を32ビットから8ビットに落とすことでメモリ消費量を削減する。
32ビットから8ビットにする手法は量子化と呼ばれ、蒸留とは別の軽量化技術です。
訓練データをいくつかのバッチに分割し、メモリ消費を抑えながら逐次的に学習を進める。
データを分割して学習するのはミニバッチ学習のことで、これもモデルのサイズ自体を小さくする蒸留とは目的が異なります。