問題 No.446
シグモイド関数などで発生する勾配消失問題を回避するために、0以下の入力を0とし、正の値をそのまま出力する活性化関数はどれか。
【正解の解説】
ReLU
ReLU関数は、0以下の入力を0にして、それ以外はそのまま通す単純な関数で、勾配が消えにくく学習を効率化します。
スポンサーリンク
【その他の選択肢の解説】
シグモイド関数
シグモイド関数は、入力を0から1の範囲に変換する関数ですが、値が大きすぎたり小さすぎると勾配が消えてしまう問題があります。
ソフトマックス関数
ソフトマックス関数は、複数の数値の合計を1にし、確率のような形式で出力するための関数です。
ステップ関数
ステップ関数は、ある閾値を超えたら1、それ以外は0を出力する、スイッチのような単純な関数です。