問題 No.419
Leaky ReLUが通常のReLUより優れているとされる点として、適切なものはどれか。
【正解の解説】
負の入力値に対してもわずかな傾きを持たせることで、死んだニューロンを防ぐ
正解です。通常のReLU関数は負の入力に対して出力が完全に0（死んだニューロン）になりますが、Leaky ReLU関数はわずかな傾きを残すことで、学習が止まってしまうのを防ぎます。
スポンサーリンク
【その他の選択肢の解説】
出力値が常に正の数になるため、確率として扱えるため
誤りです。ReLU系の関数は確率を出力するものではありません。
計算量がReLU関数よりも少なく、高速に動作するため
誤りです。計算量に大きな差はありません。主なメリットは学習の安定性です。
シグモイド関数と同じ出力を返し、層の浅い場所で安定するため
誤りです。シグモイド関数とは性質が異なり、層が深くなっても安定するように設計されています。