問題 No.651
ニューラルネットワークの隠れ層における演算においてかつてはシグモイド関数が主流であったが層を深くすると学習が進まなくなる問題が発生した。これを防ぐため現在最も一般的に利用されている入力がゼロ以下の場合はゼロを出力しゼロより大きい場合はそのまま出力する関数はどれか。
【正解の解説】
ReLU関数
入力が0以下のときは0、プラスのときはそのまま出すというシンプルな関数です。層が深くなっても情報の伝達がスムーズに行えるため、現代の主流となっています。
スポンサーリンク
【その他の選択肢の解説】
ステップ関数
ある一定の基準値を超えたら「1」、それ以下なら「0」を出力する関数です。単純ですが、細かな調整ができないため現在の深層学習ではあまり使われません。
ソフトマックス関数
出力値を確率として扱いたい場合（例：どのクラスに属する確率が何％か）によく使われる関数です。複数の出力を合計して1にする性質があります。
恒等関数
入力された値をそのまま出力する関数です。主に回帰問題などの最終層で、具体的な数値をそのまま予測値として出したい場合に使用されます。