問題 No.1193
ディープラーニングにおいて、層が深くなるにつれて誤差逆伝播の過程で勾配がゼロに近づき、入力層に近い重みが更新されなくなる勾配消失問題が発生する。この問題を解決するために、入力が0以下の場合は0を出力し、0より大きい場合は入力をそのまま出力することで、勾配が途切れにくく計算も高速な活性化関数として広く使われているものはどれか。
【正解の解説】
ReLU関数
ReLU関数は、0以下の入力をすべて0にし、正の値はそのまま出力します。単純かつ勾配が消えにくい（1を維持する）ため、深層学習の隠れ層で標準的に使われます。
スポンサーリンク
【その他の選択肢の解説】
シグモイド関数
シグモイド関数は、大きな入力に対して勾配が非常に小さくなる性質があり、深い層で勾配消失を引き起こしやすい関数です。
ステップ関数
ステップ関数は、ある値で急激に0か1に切り替わる関数で、微分ができない場所があるため勾配学習には適していません。
ソフトマックス関数
ソフトマックス関数は、複数の出力の合計が1になるように調整する関数で、主に分類問題の出力層で使われます。