問題 No.1173
自然言語処理の翻訳タスクなどにおいて、入力系列のすべての情報を一律に固定長のベクトルに圧縮するのではなく、出力単語を生成する際に「入力系列のどの部分（単語）に重点的に注目すべきか」を動的に計算し、その重みを付加して処理を行うニューラルネットワークの仕組みはどれか。
【正解の解説】
Attention
Attentionは、翻訳時に重要な単語に「注目」し、そこから優先的に情報を拾い上げることで、精度の高い文章生成や翻訳を可能にする仕組みです。
スポンサーリンク
【その他の選択肢の解説】
ドロップアウト
ドロップアウトは、学習中にランダムにニューロンを無効にすることで、特定の情報に依存しすぎる過学習を防ぐ手法です。
スキップ結合
スキップ接続は、深いネットワークで勾配が消えないように、層を飛び越えて情報を伝える仕組みです。
プーリング層
プーリングは、画像を縮小して重要な情報だけを残すことで、計算量を減らしたり位置のズレに強くしたりする処理です。