問題 No.965
ディープラーニングにおいて、モデルの重みを初期化する際の手法の一つである「Heの初期値」が、シグモイド関数ではなくReLUを用いる際に推奨される理由は「【 】」ことである。
【正解の解説】
ReLUの出力分布に合わせて分散を最適化し、勾配の爆発や消失を防ぐため
ReLU関数はプラス側で値がそのまま出力されるため、シグモイド関数よりも出力が大きくなりやすいです。そのため、初期値の分散を適切に広げる（最適化する）ことで、情報の通り道を維持し、学習が停滞する勾配の爆発や消失を防ぐ必要があります。
スポンサーリンク
【その他の選択肢の解説】
計算速度を最大化するため
計算速度は重要ですが、Heの初期値が採用される本質的な理由は、学習の安定性と成功にあります。
メモリ消費量を最小限にするため
Heの初期値は重みの設定値のルールであり、メモリ消費量を決めるものではありません。
モデルの精度を100％にするため
いかなる手法を使っても、AIが常に100％の精度を出すことは現実的には困難であり、これが主な理由ではありません。