問題 No.793
ディープラーニングにおいて、最も広く使われているReLU関数（入力が0以下なら0、0より大きければ入力をそのまま出力）は計算が極めて高速である一方、入力が負の領域で勾配が完全にゼロになってしまい、そのニューロンが以降全く更新されなくなる「死んだReLU（Dying ReLU）」と呼ばれる現象が発生する。この致命的な課題を解決するため、入力が負の場合にも完全にゼロにせず、わずかな傾きを持たせることで勾配の消失を防ぎ、モデルの学習を安定させる改良型の活性化関数はどれか。
【正解の解説】
Leaky ReLU関数
入力が負のときにゼロにするのではなく、ごくわずかな傾きを持たせることで、死んだニューロンを防ぎ学習を安定させる改善版ReLUです。
スポンサーリンク
【その他の選択肢の解説】
Sigmoid関数
値を0から1の間に押し込める関数ですが、深いネットワークでは勾配消失問題を引き起こしやすいため、ReLUよりは使われません。
Softmax関数
主に分類問題の最後で、全体の合計が1になるように確率へ変換する関数です。
Identity関数
Identity関数は入力そのものを返す関数で、活性化の機能を持たないためReLUの代わりにはなりません。