問題 No.655
RNNを用いた機械翻訳において長い文章を入力すると文脈の最初の方の情報が欠落してしまう課題があった。これを解決するため入力系列のどの部分に重点を置いて情報を抽出するかをモデル自身に学習させる仕組みはどれか。
【正解の解説】
アテンション機構
入力データの中で特に重要な部分に注目し、重み付けを行うことで文脈を捉えやすくする仕組みです。
スポンサーリンク
【その他の選択肢の解説】
ゲート付き回帰型ユニット
時系列データにおいて、過去の情報をどのように記憶し、いつ忘れるかを調整するゲート機能を持つ層の構成要素です。
スキップコネクション
ニューラルネットワークの層を飛び越えて情報を直接伝える手法であり、深いネットワークでも学習がしやすくなります。
プーリング
画像などのデータにおいて、一定範囲の中から代表的な値（最大値や平均値など）を抽出し、データのサイズを縮小する処理です。