問題 No.667
出力を0から1の滑らかな曲線に変換するため確率として扱いやすいが、微分の最大値が小さいため層を深くすると勾配消失問題を引き起こす原因となった古典的な活性化関数はどれか。
【正解の解説】
シグモイド関数
シグモイド関数は、入力値を0から1の間の滑らかな曲線に変換する関数です。かつてのニューラルネットワークで多用されましたが、勾配消失問題の原因となりやすいという弱点があります。
スポンサーリンク
【その他の選択肢の解説】
ソフトマックス関数
ソフトマックス関数は、複数の出力値を合計1になるような確率分布に変換する関数です。多クラス分類の最終層で、どのクラスであるかの確率を示す際によく用いられます。
ステップ関数
ステップ関数は、ある閾値を超えたら「1」、超えなければ「0」と出力する非常にシンプルな関数です。かつてのパーセプトロンなどで使われましたが、微分できないため学習には不向きでした。
ReLU関数
ReLU関数は、入力が負なら0、正ならそのままの値を出力する関数です。勾配消失問題を防ぎ、計算速度も速いため、現在の深層学習で標準的に使われています。