問題 No.918
ニューラルネットワークにおいて、勾配消失問題を回避するために活性化関数としてReLUが広く採用されている。シグモイド関数と比較した際のReLUの最大の利点は「【 】」ことである。
【正解の解説】
入力値が正の領域において勾配が飽和せず一定の値を保持する
ReLU関数は、入力が正の領域では傾きが一定であるため、勾配が消失しにくく、深い層まで学習を伝えやすいという特徴があります。
スポンサーリンク
【その他の選択肢の解説】
出力値が必ず0から1の範囲に収まる
シグモイド関数は、どんなに大きな入力があっても0から1の範囲に収める圧縮効果を持つ関数です。
負の入力に対して出力が一定になり勾配がゼロになる
ReLU関数は、入力が負の場合は0を出力するため、特定の条件下では勾配が消失する性質を持っています。
計算コストがシグモイド関数よりも圧倒的に高い
ReLU関数は単なる閾値処理に近い単純な計算であるため、指数計算を含むシグモイド関数よりも計算コストが低いです。