問題 No.1266
多層ニューラルネットワークのパラメータを勾配降下法で最適化する際、学習が停滞してしまう原因の一つに鞍点の存在がある。多次元の損失関数における鞍点の幾何学的な特徴として正しいものはどれか。
【正解の解説】
ある方向から見ると極小値の谷底に見えるが、別の方向から見ると極大値の山頂になっている点。
鞍点は、ある方向から見ると山、別の方向から見ると谷に見えるため、勾配がゼロになり学習が停滞する場所です。
スポンサーリンク
【その他の選択肢の解説】
すべての方向に対して関数の傾きが上り坂になっており、空間全体の真の最小値となっている点。
これは谷底のような最小値の点であり、学習のゴール地点そのものを指します。
関数の傾きがどの方向に対しても完全に一定のまま変化せず、無限に続く平坦な斜面となっている点。
これは平坦な場所（プラトー）を指しており、鞍点とは数学的な構造が異なります。
入力データが負の値をとった瞬間に微分の値がゼロになり、パラメータの更新が完全にストップしてしまう点。
これはReLU関数のような特定の活性化関数で発生する問題であり、幾何学的な鞍点とは意味が異なります。