問題 No.423
ディープラーニングにおいて、勾配消失問題を軽減するために隠れ層で主に使用される活性化関数はどれか。
【正解の解説】
ReLU
ReLUは、正の値ならそのまま通し、負なら0にするというシンプルな関数です。層が深くても勾配が消失しにくいため、現在のディープラーニングの隠れ層において最も標準的に利用されています。
スポンサーリンク
【その他の選択肢の解説】
シグモイド関数
シグモイド関数は出力が0から1の間に飽和してしまうため、層が深くなると勾配がほとんど伝わらなくなる「勾配消失問題」の主な原因となります。
ソフトマックス関数
ソフトマックス関数は、主に分類問題の出力層で、各クラスの確率を計算するために使われます。
ステップ関数
ステップ関数は値が0か1で切り替わるため、境界以外で微分の値がゼロになってしまい、勾配を利用する学習がうまくいきません。