問題 No.697
初期層のニューラルネットワークにおいて、入力された信号の総和を特定の範囲に変換して次の層へ渡す役割を持つ関数がある。特に出力を0から1の滑らかな確率値として表現したい場合に長らく使われてきたが、層が深くなると両端で学習が進まなくなる勾配消失問題を引き起こしやすい関数はどれか。
【正解の解説】
シグモイド関数
S字型の滑らかなカーブを描く関数で、入力を0から1の範囲に押し込めます。昔よく使われましたが、端の方で変化が極端に緩やかになり、学習が進まなくなるという欠点があります。
スポンサーリンク
【その他の選択肢の解説】
ステップ関数
出力値が0か1のどちらかになるような、階段状の変化をする関数です。境界線で急激に変化するため、機械学習での微調整が難しい性質があります。
ソフトマックス関数
複数の選択肢の中から「どれである確率が高いか」を合計が1になるように出力するための関数で、主に分類問題の最後の層で使われます。
恒等関数
入力された値をそのまま出力する関数です。回帰問題などで「予測した数値そのもの」が欲しい場合に使用されます。