スポンサーリンク

問題番号: No.314 (しっかりモード)

Seq2Seqモデルが抱えていた、長い文章を翻訳する際に「冒頭の記憶(文脈情報)が途中で完全に抜け落ちてしまう」という固定長ベクトルのボトルネック課題を劇的に解決した技術である。デコーダで次の単語を出力(生成)する際、エンコーダが圧縮した1つのベクトルだけを見るのではなく、入力文の「どの単語(位置)に強く注目(注視)すべきか」のウェイト(類似度)をタイムステップごとに動的に計算し、関連する入力特徴量を直接引き出して利用する仕組みを何というか。

スポンサーリンク