問題 No.307
ディープラーニングの初期から多用された古典的な活性化関数である。入力された数値を、数式を用いて「0から1の間」の範囲に滑らかに圧縮して出力する特性を持つ。しかし、入力の値が極端に大きくなったり小さくなったりすると、関数の傾き（微分値）がほぼ「0」になってしまい、多層ネットワークにおいて勾配消失問題を引き起こす主因となった関数はどれか。
【正解の解説】
シグモイド関数
シグモイド関数は、入力を0から1の間に押し込める性質がありますが、入力値が極端になると傾きがほぼ0になり、学習に必要な情報が逆伝播しなくなる勾配消失問題の主な原因として知られています。
スポンサーリンク
【その他の選択肢の解説】
ReLU
ReLU関数は、0未満の入力には0、0以上の入力にはそのままの値を出力する活性化関数で、勾配消失問題の解決に寄与するものです。
ELU
ELUは、ReLUを改良し、負の値の出力にも滑らかさを持たせた関数で、学習を安定させるために使われます。
ステップ関数
ステップ関数は、ある閾値を超えたら1、それ以外は0を出力する関数で、微分が至る所で0になるため、ニューラルネットワークの学習には適していません。