問題 No.407
ニューラルネットワークの損失関数において、局所解よりも頻繁に発生し学習を妨げる要因とされる「サドルポイント(鞍点)」の特徴として、適切なものはどれか。
【正解の解説】
ある方向には極小だが、別の方向には極大である平坦な場所
サドルポイント(鞍点)とは、ある軸方向で見れば極小値ですが、別の軸方向から見れば極大値に見える場所です。馬の鞍のような形状をしており、学習が停滞しやすい場所です。
スポンサーリンク
【その他の選択肢の解説】
損失関数の値が必ずマイナスになる、最も低い地点
これは損失関数全体の最小値を示す言葉であり、サドルポイントとは性質が異なります。
全ての方向に勾配が急激に立ち上がる、鋭い谷の底
これは非常に急峻な谷底であり、勾配が非常に大きくなる領域を指します。
学習が完了したことを示す、滑らかな平原
学習が完了した地点は、通常、損失関数の値が十分に低い最小値付近(局所最適解や大域最適解)を指します。