問題番号: No.770 (しっかりモード)

深層学習の中間層で広く使われるReLU関数は、入力が負の場合に出力が完全にゼロとなり、勾配も消失してしまう欠点がある。この問題に対処するため、入力値にシグモイド関数を掛け合わせた形をとり、負の領域でも滑らかに非ゼロの値を返すことで、特に深いネットワークでの情報伝達を改善した活性化関数はどれか。