問題 No.518
ReLUの「0以下の入力が完全に0になる（デッドReLU）」問題を解決するため、0以下の領域でもわずかな勾配を残すようにした活性化関数はどれか。
【正解の解説】
Leaky ReLU
Leaky ReLU関数は、負の入力に対してわずかな傾きを持たせることで、0以下になっても学習が進むように改良された活性化関数です。「デッドReLU」を防ぐために役立ちます。
スポンサーリンク
【その他の選択肢の解説】
Softplus
Softplusは、ReLUを滑らかなカーブ状にした関数です。すべての領域で微分可能ですが、ReLUほどの計算の軽快さはありません。
Tanh
tanh関数は、出力を-1から1の間に押し込めるS字型の関数です。ニューラルネットワークの隠れ層でよく使われますが、値が飽和しやすいという性質があります。
Step
Stepは、0未満なら0、0以上なら1を返す単純な関数です。昔のパーセプトロンで使われましたが、微分できないため現在の学習には向きません。