問題番号: No.1193 (しっかりモード)

ディープラーニングにおいて、層が深くなるにつれて誤差逆伝播の過程で勾配がゼロに近づき、入力層に近い重みが更新されなくなる勾配消失問題が発生する。この問題を解決するために、入力が0以下の場合は0を出力し、0より大きい場合は入力をそのまま出力することで、勾配が途切れにくく計算も高速な活性化関数として広く使われているものはどれか。