自然言語処理において、RNNのような時系列に沿った逐次計算を行わず、文章内のすべての単語間の関連度を並列に計算する【 】アーキテクチャが登場した。これにより、計算の高速化と長距離の文脈理解が可能になり、現在の大規模言語モデルの基盤となっている。