問題番号: No.1402 (しっかりモード)

多層ニューラルネットワークにおいて、活性化関数として長らく用いられてきたシグモイド関数は、入力値の絶対値が大きくなると微分の値がほぼゼロになるという数理的性質を持っていた。この性質が原因で、層を遡るごとに誤差の勾配が減衰する勾配消失問題が発生する。この問題を解決するために広く採用された、入力が負の場合はゼロを、正の場合はそのままの値を出力し、正の領域で微分値が常に1となる活性化関数はどれか。