問題 No.1347
多層ニューラルネットワークの学習において、出力層で生じた予測誤差を最小化するように各層の重みを更新する。このとき、出力層から入力層へ向かって各パラメータの勾配を計算していくが、この効率的な計算を支えている微分積分学における合成関数の微分の法則はどれか。
【正解の解説】
連鎖律
連鎖律は、複雑に組み合わさった関数の微分を、それぞれの小さな部品の微分の掛け算として計算するルールです。ニューラルネットワークは多くの層が繋がっていますが、出力から入力へ影響を伝搬させる際、このルールを使うことで非常に効率的に計算ができます。
スポンサーリンク
【その他の選択肢の解説】
大数の法則
大数の法則は、試行回数を増やせば増やすほど、その平均値が理論上の期待値に近づくという統計学の基本原則です。ニューラルネットワークの勾配計算とは直接の関係はありません。
ベイズの定理
ベイズの定理は、新しい情報が得られたときに、ある事象が起こる確率を更新するための理論です。AIの推論や予測のモデル化には使われますが、ニューラルネットワークの勾配計算そのものの仕組みではありません。
最小二乗法
最小二乗法は、データと予測値のズレ（誤差）の二乗を最小にするように直線を引く手法です。誤差を測る考え方の一つですが、勾配計算の仕組みそのものではありません。