問題 No.500
学習データ全体を用いて一度に勾配を計算する「バッチ勾配降下法」と比較した際、少数のデータで計算する「確率的勾配降下法（SGD）」の主なメリットはどれか。
【正解の解説】
計算速度の向上とメモリ消費の抑制
全データを一度に計算すると非常に重い作業になりますが、少しずつデータを摘まんで計算することで、一度あたりの負担を減らし、どんどん答えに近づくサイクルを速く回すことができます。
スポンサーリンク
【その他の選択肢の解説】
大域的最適解に必ず到達する
確率的勾配降下法は答えを探す過程でランダムに動くため、常に完璧な最適解へ一直線に進むわけではありません。
並列計算が容易になる
並列計算の容易さは、ミニバッチサイズなどの工夫によりますが、計算速度向上の主たる理由は「一度の計算量の少なさ」です。
データ全体を必ず網羅できる
一部分のデータで計算を繰り返すため、データ全体を一度に計算するバッチ学習とは異なり、一度のステップでデータ全体を網羅はしません。