問題 No.460
Transformerにおいて、入力シーケンス内の各単語同士の関係性を、距離に関係なく直接計算できる機構はどれか。
【正解の解説】
Attention
Attentionとは、長い文章の中でも特定の単語同士の重要な関連性を計算し、文脈を理解するために、注目すべき箇所に重み付けをして処理する機構のことです。
スポンサーリンク
【その他の選択肢の解説】
リカレントニューラルネットワーク(RNN)ゲート
RNNゲートとは、RNNにおいて重要な情報を記憶し、不要な情報を捨てるためのスイッチのような役割を果たす仕組みです。
畳み込み
畳み込みとは、画像などのデータ上で小さなフィルターを動かし、局所的な模様や特徴を抽出していく処理のことです。
プーリング
プーリングとは、データ内の重要な情報だけを残しつつ、全体を縮小して情報をコンパクトにする処理のことです。