問題 No.1106
ニューラルネットワークで層が深くなるほど勾配が消えてしまう理由として【不適切なもの】はどれか。
【正解の解説】
重みの初期値が大きすぎて計算が溢れるため
重みの初期値が大きすぎると、むしろ勾配が爆発して計算が不安定になることがあり、勾配が消えてしまう理由としては主因ではありません。
スポンサーリンク
【その他の選択肢の解説】
活性化関数がシグモイド関数だと微分値が小さくなるため
シグモイド関数は値が飽和しやすく、微分すると非常に小さな値になるため、層を重ねるとその値が何度も掛け合わされて最後には0に近づき、学習が進まなくなる原因となります。
誤差逆伝播法を用いて微分の値が連鎖的に掛け合わされるため
誤差逆伝播では微分の積が連鎖的に行われるため、各層の微分値が1より小さいと、掛け算の回数が増えるほど全体の結果が急激に小さくなるという数学的な性質があります。
ネットワーク全体の表現力が低すぎるため
ネットワークが深くなること自体は、高度な処理をするためには必要であり、表現力の低さが勾配消失の直接的な理由ではありません。