問題 No.478
ReLUがシグモイド関数と比較して、深いネットワークの学習に適している理由はどれか。
【正解の解説】
正の領域で勾配が飽和せず、勾配消失しにくいため
ReLU関数は、プラスの数値にはそのままの勢いを残し、マイナスの数値だけをカットするシンプルな構造です。そのため、層を重ねても情報の伝達力が弱まりにくく、学習がスムーズに進みます。
スポンサーリンク
【その他の選択肢の解説】
出力が0〜1に限定されるため
シグモイド関数は出力を0〜1の間に閉じ込める性質がありますが、それが原因で勾配が小さくなりすぎる問題を引き起こします。
計算が複雑なため
ReLUはプラスか0かという単純な判定を行うため、計算コストが非常に軽く、むしろ高速に処理できるというメリットがあります。
0以下の入力を大きくするため
ReLUの働きは、0以下の入力を0にして切り捨てることであり、決して値を大きくすることではありません。