問題 No.629
長文の文章生成や機械翻訳において再帰型ニューラルネットワークは計算を逐次的に行うため並列処理が難しく学習に時間がかかる欠点があった。この課題を解決するために入力されたすべての単語間の関係性を自己注意機構によって一度に計算し並列処理を可能にした自然言語処理のアーキテクチャはどれか。
【正解の解説】
Transformer
Transformerは、自己注意機構によって文章中のすべての単語の関係を並列に計算できるため、従来のRNNのように一つずつ順番に処理する必要がなく、学習時間を大幅に短縮できます。
スポンサーリンク
【その他の選択肢の解説】
LSTM
LSTMは、時系列情報を記憶できる便利なRNNの一種ですが、逐次処理を行うため並列計算には向きません。
CNN
CNNは主に画像処理に使われる手法で、単語間の文脈を捉えるNLPのメインアーキテクチャではありません。
教師なし学習
教師なし学習は、データのラベルを使わない学習手法の総称であり、特定の構造を指す言葉ではありません。