問題 No.154
ResNetなどの超深層ニューラルネットワークにおいて、層を100層以上に深く重ねていくと、通常は勾配消失が発生して学習が進まなくなる。この課題を解決するため、ある層への入力を、その層の畳み込み計算を飛び越えて(スキップして)「先の層の出力」へとダイレクトに足し合わせる構造を導入した。この接続機構を何というか。
【正解の解説】
残差接続
残差接続とは、層を飛び越えて情報を直接伝える仕組みです。これにより深い層でも情報をスムーズに流せるようになります。
スポンサーリンク
【その他の選択肢の解説】
畳み込み接続
畳み込み接続という名称は一般的ではなく、層を連結する特定の機構を指す用語ではありません。
リカレント接続
リカレント接続とは、RNNなどで過去の状態を現在の処理に反映させるための接続方式のことです。
全結合接続
全結合接続とは、前の層のすべてのニューロンが次の層のすべてのニューロンとつながる標準的な方式のことです。