問題 No.698
ディープラーニングにおいて層を深くしていくと、学習を遡るたびに誤差の値が小さくなり入力層付近の学習が進まなくなる勾配消失問題が深刻化する。この問題を回避するため、入力がゼロ以下の場合はゼロを出力し、ゼロより大きい場合は入力値をそのまま直線的に出力する現在主流の活性化関数はどれか。
【正解の解説】
ReLU関数
現在、深層学習で最も一般的に使われる関数です。0以下なら0、0より大きければ入力をそのまま通すという単純な形をしているため、学習が非常にスムーズに進みます。
スポンサーリンク
【その他の選択肢の解説】
Leaky ReLU
ReLU関数の欠点である「0以下の時に完全に何も伝わらなくなる問題」を補うため、0以下でもわずかな傾きを持たせた関数です。
Swish関数
Googleが開発した関数で、ReLUのような単純さに加え、入力値全体に対して滑らかに変化する性質を持っており、学習性能の向上が期待できます。
tanh関数
S字型に似ていますが、範囲が-1から1の間になる関数です。シグモイド関数と同様に層が深くなると学習が止まりやすい性質があります。