問題 No.1083
ReLU関数が深いネットワークで勾配消失問題を回避できる理由は「【 】」ことである。
【正解の解説】
入力が正の値のとき、微分値が1となり勾配が減衰しないため
ReLU関数は、入力が0より大きい場合に、入力値をそのまま出力します。これにより勾配が1となり、情報が消えずに奥深くまで伝わるため、勾配消失を防ぎます。
スポンサーリンク
【その他の選択肢の解説】
出力が必ず0から1に正規化されるため
出力が0から1に制限されるのはシグモイド関数の特徴であり、ReLU関数とは性質が異なります。
計算コストがシグモイド関数より高いため
ReLU関数の計算は「値をそのまま出すか、0にするか」という単純な処理なので、むしろ計算コストは非常に低いです。
負の値をすべて正に変換するため
ReLU関数は、負の値を0に変換することで「必要な情報だけを通す」門番のような役割を果たしますが、負の値を正にするわけではありません。