問題番号: No.698 (しっかりモード)

ディープラーニングにおいて層を深くしていくと、学習を遡るたびに誤差の値が小さくなり入力層付近の学習が進まなくなる勾配消失問題が深刻化する。この問題を回避するため、入力がゼロ以下の場合はゼロを出力し、ゼロより大きい場合は入力値をそのまま直線的に出力する現在主流の活性化関数はどれか。