問題 No.846
ディープラーニングにおいてシグモイド関数の代わりにReLU関数が広く採用される理由として適切なものはどれか。
【正解の解説】
入力が正の領域において微分値が常に1となるため、層を深くしても勾配消失問題が発生しにくい
ReLU関数は、正の領域では微分値が常に一定（1）となります。これにより、深い層まで情報の勢い（勾配）が失われにくくなり、学習が効率的に進みます。
スポンサーリンク
【その他の選択肢の解説】
関数の出力が常に0から1の範囲に収まるため、確率値としてそのまま扱いやすい
シグモイド関数は出力を0から1に収めるため確率として扱いやすいのですが、深いネットワークでは勾配消失問題を起こしやすいため、ディープラーニングではあまり好まれません。
すべての入力に対して滑らかな曲線のグラフを描くため、計算時の最適化が最も安定する
ReLU関数は正と負で形が変わる折れ線グラフのような関数です。滑らかな曲線ではありませんが、その単純さが計算効率の良さにつながっています。
負の入力に対しても大きな値を返すことで、デッドニューロンの発生を完全に防ぐことができる
ReLU関数は負の入力を0にしてしまうため、稀に学習が止まる「デッドニューロン」が発生することがあります。これを防ぐために、Leaky ReLU関数などの派生版が使われることもあります。