問題 No.1297
多層ニューラルネットワークの活性化関数としてシグモイド関数を用いると、層が深くなるにつれて逆伝播の勾配が急速に減衰する問題があった。これに対し、入力が正の領域では微分値が常に1となり、負の領域では常に0となる特性を持つ活性化関数はどれか。
【正解の解説】
ReLU関数
ReLU関数は、0以下の入力は0、0より大きい入力はそのまま出力する活性化関数で、勾配消失を防ぐ効果が高いため深層学習で標準的に使われます。
スポンサーリンク
【その他の選択肢の解説】
ソフトマックス関数
ソフトマックス関数は、出力を確率として扱うために多クラス分類の出力層で主に利用される関数です。
アイデンティティ関数
アイデンティティ関数（恒等関数）は、入力をそのまま出力する関数で、主に回帰問題の出力層で使われます。
tanh関数
ハイパボリックタンジェント関数は、出力を-1〜1の範囲に圧縮する関数で、シグモイド関数よりも学習が安定しやすい特性があります。