問題 No.879
深層ニューラルネットワークにおいて発生する勾配消失問題のメカニズムと、それを解決するために導入された技術の組み合わせとして不適切なものはどれか。
【正解の解説】
解決策として中間層のニューロン数をすべての層において一律で入力層の100倍以上に増やし、情報の通り道を物理的に広げることが唯一の解決策である
ニューロン数をただ増やしても、勾配消失問題の本質的な解決にはならず、学習の効率が下がるだけです。解決策は活性化関数の工夫やネットワーク構造の改善などが一般的です。
スポンサーリンク
【その他の選択肢の解説】
原因の1つはシグモイド関数の微分値の最大値が0.25であることであり、層を重ねて掛け合わせることで勾配が0に近づいてしまう現象である
シグモイド関数は微分すると値が小さくなる性質があるため、層を重ねるほどその値が掛け合わされ、勾配が消えてしまうことが勾配消失の大きな原因の一つです。
解決策として入力が正の領域であればどれだけ層が深くても微分値が常に1となるReLU関数を隠れ層の活性化関数に採用することが有効である
ReLU関数(Leaky ReLU関数)は、入力が正であれば値がそのまま出力されるため、微分値が小さくならず、深いネットワークでも勾配をしっかり伝えられるため、勾配消失を防ぐ解決策として有効です。
解決策として各層の出力をミニバッチごとに平均0で分散1に正規化するバッチ正規化を導入することで値が極端な領域に偏るのを防ぎ、勾配を安定させる
バッチ正規化は、各層のデータの分布を調整して値の極端な偏りを防ぐことで、学習を安定させ、勾配消失の影響を抑えるために導入される強力な技術です。