問題 No.754
隠れ層の活性化関数としてシグモイド関数を多層にわたって使用すると、逆伝播時に勾配が急激に小さくなり学習が進まなくなる現象を防ぐために、一般的に代用される関数はどれか。
【正解の解説】
ReLU関数
ReLU関数は、0以下の入力は0にし、0より大きい入力はそのまま出力する関数です。勾配消失を防ぎ、計算も高速なためディープラーニングで広く使われます。
スポンサーリンク
【その他の選択肢の解説】
ソフトマックス関数
ソフトマックス関数は、複数の出力値を確率として表現するために、合計が1になるように変換する関数です。
恒等関数
恒等関数は、入力された値をそのまま出力する関数で、主に回帰問題の出力層で利用されます。
ステップ関数
ステップ関数は、しきい値を超えたかどうかで出力を0か1に切り替える単純な関数です。