問題 No.1265
多クラス分類問題のニューラルネットワークにおいて、出力層で算出された予測確率と実際の正解ラベルとのズレを測定するために交差エントロピー誤差関数が標準的に用いられる。平均二乗誤差ではなくこの関数が選ばれる数理的な理由として最も適切なものはどれか。
【正解の解説】
誤差が大きければ大きいほど勾配が急になり、最適化アルゴリズムによる重みの更新が高速に進みやすいため。
交差エントロピー誤差関数を使うと、予測が外れた時に大きく勾配が立つため、学習を素早く進めることができます。
スポンサーリンク
【その他の選択肢の解説】
誤差の絶対値に対して線形にペナルティを科すため、データに含まれる極端な外れ値の影響を完全に排除できるため。
これは平均絶対値誤差の特徴に近いものですが、分類問題の確率的なズレを測るには適していません。
計算過程に平方根が含まれており、出力される誤差の単位を元のデータの単位と正確に一致させることができるため。
平均二乗誤差は計算に平方根を含む場合がありますが、これは誤差の大きさを測る手法としての特徴であり、分類の精度向上とは別です。
予測確率が正解から遠ざかるにつれて誤差がゼロに収束し、過学習を自動的に抑制する性質を持っているため。
誤差がゼロに収束するのはモデルが完璧なときであり、過学習を自動抑制するわけではありません。