問題 No.847
ニューラルネットワークの学習においてドロップアウトを適用すべき場面や目的として不適切なものはどれか。
【正解の解説】
推論時において計算負荷を極限まで下げるために、不要なネットワークの結合を永久に削除してモデルを軽量化したいとき
ドロップアウトは学習中にのみ適用されるテクニックです。推論時に勝手に結合を永久削除するものではなく、推論時は全てのユニットを有効にして計算します。
スポンサーリンク
【その他の選択肢の解説】
訓練データに対してモデルの適合度が高くなりすぎ、未知のデータへの汎化性能が低下している過学習を抑制したいとき
ドロップアウトは、学習中に一部のユニットをランダムに休ませることで、特定のデータに過剰に慣れてしまう（過学習）のを防ぐ強力な手法です。
学習ごとにネットワーク内のユニットをランダムに無効化することで、擬似的に複数の異なるモデルをアンサンブル学習させたいとき
学習ごとに休ませるユニットを変えることで、毎回少しだけ構造の異なるモデルを学習させているのと同じ状態を作り出しています。これを統合することで汎用性が高まります。
特定のニューロン同士が強く依存し合ってしまい、限定的なパターンしか学習できなくなる共適応を防ぎたいとき
特定のニューロン同士が依存しすぎると、柔軟性が失われます。ドロップアウトでランダムに遮断することで、各ニューロンが独立して賢くなるように強制できます。