問題 No.1239
深層ニューラルネットワークにおいて、層が深くなるにつれて勾配が極端に小さくなり学習が進まなくなる勾配消失問題を解決するために、入力が0を超える場合はその値をそのまま出力し、0以下の場合は0を出力することで微分値を1または0に保つ活性化関数はどれか。
【正解の解説】
ReLU関数
ReLU関数は、入力が0以下なら0、0より大きければそのまま出力する単純な関数です。勾配が消失しにくく、計算が非常に高速なため、深層学習の隠れ層で最も一般的に利用されています。
スポンサーリンク
【その他の選択肢の解説】
ソフトマックス関数
ソフトマックス関数は、複数の数値の合計が1になるように変換し、主に多クラス分類の出力層で確率分布として表現するために使用されます。
シグモイド関数
シグモイド関数は、入力を0から1の範囲に圧縮する関数で、昔の深層学習で使われていましたが、入力が大きすぎると微分値が0に近づき、勾配消失問題を引き起こす原因となります。
tanh関数
ハイパボリックタンジェント関数は、入力を-1から1の範囲に圧縮する関数で、シグモイド関数より中心が0に近いですが、深い層では勾配消失問題が依然として発生します。