問題 No.1258
自然言語処理のTransformerや近年の画像認識モデルにおいて中核を担う仕組みであり、入力データ全体を一様に処理するのではない、タスクの達成に直結するデータ内のどの部分が重要であるかを動的に計算し、その部分に大きな重みを付加して情報を処理する機構はどれか。
【正解の解説】
Attention
Attentionは、データの中のどの部分が重要かという情報の重要度を動的に計算し、関連性の高い情報に焦点を合わせる機構です。
スポンサーリンク
【その他の選択肢の解説】
ドロップアウト
ドロップアウトは、学習時にランダムにニューロンを無効にすることで、過学習を防ぐための手法です。
残差接続
残差接続は、入力を層を飛び越えて加算することで、深層ネットワークの学習を安定させる手法です。
バッチ正規化
バッチ正規化は、層の入力値の分布を調整することで、学習を高速化・安定化させる手法です。