問題番号: No.368 (しっかりモード)

ディープラーニングの中間層に用いられるReLU関数は、入力が負の値をとる場合に勾配が完全にゼロとなり、そのニューロンの学習が止まってしまう問題があった。この問題を解決し、ニューロンが完全に活動を停止してしまうのを防ぐために考案された関数の特徴として適切なものはどれか。