問題 No.770
深層学習の中間層で広く使われるReLU関数は、入力が負の場合に出力が完全にゼロとなり、勾配も消失してしまう欠点がある。この問題に対処するため、入力値にシグモイド関数を掛け合わせた形をとり、負の領域でも滑らかに非ゼロの値を返すことで、特に深いネットワークでの情報伝達を改善した活性化関数はどれか。
【正解の解説】
Swish
Swishは、入力にシグモイド関数を掛けて滑らかにした活性化関数です。負の領域でもわずかに値を持つことで、深いネットワークでも情報の流れをスムーズにします。
スポンサーリンク
【その他の選択肢の解説】
ステップ関数
しきい値を超えたら「1」、それ以外は「0」と出力する単純な関数です。滑らかさがないため、学習が難しくなることがあります。
ソフトマックス関数
複数の選択肢の中から、どれが確率が高いかを計算するための関数です。主に分類の最終段階で使用されます。
恒等関数
入力された値をそのまま出力する関数です。変化が起きないため、中間層の活性化関数としては使われません。