問題 No.1339
深層ニューラルネットワークにおいて、活性化関数にシグモイド関数を用いると、入力値の絶対値が大きい領域で関数の傾きが極端に小さくなる。この結果、誤差逆伝播において層を遡るごとにどのような数理的現象が発生し、どのような問題を引き起こすか。最も適切なものを選べ。
【正解の解説】
勾配がゼロに収束し、入力層に近い重みが全く更新されなくなる。
これは勾配消失問題の典型的な症状です。シグモイド関数は端の方で傾きがほぼゼロになるため、逆伝播で重みを更新しようとしても「ゼロを掛ける」ことになり、入力層に近い重みが全く学習されなくなります。
スポンサーリンク
【その他の選択肢の解説】
勾配が指数関数的に増大し、重みが発散して計算不能になる。
これは勾配爆発という現象の説明です。勾配が大きくなりすぎてしまい、重みが異常な値になって計算結果が壊れてしまう状態です。
すべてのニューロンの出力が同じ値になり、ネットワークの表現力が失われる。
これはネットワークが学習の途中で行き詰まる別の現象です。勾配消失とは異なり、重みが適切に変化しないことによる表現力の低下を指します。
局所的最適解に陥りやすくなり、学習率の調整が機能しなくなる。
局所的最適解に陥る問題は、モデルが今の場所より少し良いところはあるのに、さらに良い場所を探すために抜け出せなくなる現象で、勾配消失とは別の最適化の課題です。