問題番号: No.110 (しっかりモード)

ディープラーニングにおいて、多層のネットワークを構築した際、活性化関数に「シグモイド関数」を採用すると、層が深くなるにつれて誤差の勾配が途中でゼロに近づいてしまい、入力層に近い層が全く学習しなくなる勾配消失問題が発生する。この問題を解決するため、入力が0以下なら0、0より大きければ入力をそのまま出力する、現代の標準的な活性化関数はどれか。