問題 No.400
ニューラルネットワークにおいて、Sigmoid関数が近年の中間層であまり使われず、ReLUが主流となった技術的な背景として最も適切なものはどれか。
【正解の解説】
Sigmoidは入力値が極端に大きい/小さい場合に勾配がほぼ0になり、学習が止まる問題があるため
正解です。Sigmoid関数は入力値が大きすぎたり小さすぎたりすると、グラフが平坦になり勾配がほぼ0になります。層を重ねるごとにこの影響が積み重なり、学習が進まなくなる『勾配消失問題』が起きるため、ReLUが主流となりました。
スポンサーリンク
【その他の選択肢の解説】
ReLUの方がシグモイドよりもグラフの形状が美しく、視覚的に理解しやすいため
誤りです。数学的な形状の美しさは選定理由ではありません。
Sigmoidにはメモリ使用量が非常に多いという欠点があるため
誤りです。メモリ使用量の多さが主な要因ではなく、学習効率（勾配の伝わりやすさ）が問題です。
ReLUは出力が必ず確率値（0から1の間）になるため、層を重ねても出力の解釈が容易であるため
誤りです。ReLUの出力は0以上であれば無限に大きくなるため、確率は出力しません。