問題 No.878
ディープラーニングの学習において必須となる誤差逆伝播法の仕組みや必要性に関する記述として不適切なものはどれか。
【正解の解説】
推論時において入力された画像データがどのクラスに属するかを瞬時に判定するために出力層から入力層へ向けてデータを逆向きに伝播させる処理である
誤差逆伝播法は「学習」のプロセスで誤差を伝えるための手法であり、推論(予測)時に出力から入力へデータを伝播させる処理のことではありません。
スポンサーリンク
【その他の選択肢の解説】
出力層で計算された誤差関数の誤差をネットワークを逆方向に辿りながら各層の重みパラメータの勾配を連鎖律に従って効率的に計算する手法である
誤差逆伝播法は、出力された予測の結果から正解とのズレ(誤差)を計算し、その情報を後ろから前へと逆に伝えて、ネットワーク内の重みを効率的に調整する非常に重要な手法です。
膨大な数のパラメータを持つニューラルネットワークにおいてすべての重みを個別に少しずつ動かして損失の変化を調べるよりも圧倒的に少ない計算コストで最適化を行える
すべての重みを一つずつ調整しようとすると計算量が膨大になりますが、誤差逆伝播法を使えば、連鎖律という数学のルールを応用して一度の計算で効率よく全体の重みを更新できます。
ネットワークの層を何百層にも深く重ねた場合、出力層から遠い入力層付近に到達するまでに勾配が掛け合わされて極端に小さくなり学習が進まなくなる勾配消失問題の原因となることがある
層が非常に深くなると、誤差の情報を前に伝える過程で値がどんどん小さくなり、入力層近くまで情報が正しく届かなくなる「勾配消失問題」が発生することがあります。