問題 No.801
ディープラーニングにおいて多層ニューラルネットワークの層を深くした際に発生する勾配消失問題に関する記述として不適切なものはどれか。
【正解の解説】
訓練データのばらつきが大きすぎるために学習の初期段階でパラメータが無限大に発散してしまう現象を指す。
これは勾配爆発問題の解説です。勾配が急激に大きくなってしまい、計算結果が数値として破綻してしまう現象を指します。
スポンサーリンク
【その他の選択肢の解説】
ネットワークの層が深くなるほど入力層に近い層のパラメータがほとんど更新されなくなる現象である。
勾配消失問題の現象を指します。学習に必要な「修正の信号」が途中で消えてしまい、最初の層まで情報が届かない状態です。
活性化関数にシグモイド関数を使用するとその微分の最大値が小さいため層を遡るごとに勾配が急速に小さくなり発生しやすい。
シグモイド関数は、入力に対して微分の値が非常に小さくなりやすいため、層が重なるごとに掛け算が繰り返されて数値が消滅してしまいます。
この問題を解決するためのアプローチの一つとして活性化関数にReLU関数を採用することが挙げられる。
ReLU関数(整流線形ユニット)は、勾配が消えにくく、層を深くしても学習が進みやすい特性があるため、この問題の強力な解決策となります。