問題番号: No.793 (しっかりモード)

ディープラーニングにおいて、最も広く使われているReLU関数（入力が0以下なら0、0より大きければ入力をそのまま出力）は計算が極めて高速である一方、入力が負の領域で勾配が完全にゼロになってしまい、そのニューロンが以降全く更新されなくなる「死んだReLU（Dying ReLU）」と呼ばれる現象が発生する。この致命的な課題を解決するため、入力が負の場合にも完全にゼロにせず、わずかな傾きを持たせることで勾配の消失を防ぎ、モデルの学習を安定させる改良型の活性化関数はどれか。