問題 No.894
従来のRNNが持つ長期依存性の学習が困難になる勾配消失問題を解決するため、LSTMではセル状態という仕組みが導入された。特に、過去の不要な情報をどの程度捨てるかを判断する機構を【 】と呼ぶ。
【正解の解説】
忘却ゲート
忘却ゲートは、過去の記憶の中で「もう必要ない」と判断された情報を捨てるための通り道です。これにより、新しい情報のためのスペースを空けることができます。
スポンサーリンク
【その他の選択肢の解説】
入力ゲート
入力ゲートは、現在の新しい情報をどれだけ記憶に取り込むかを決定する通り道です。必要な情報を精査して追加するために使われます。
出力ゲート
出力ゲートは、現在の記憶の中から、次の処理にどの情報を伝えるかを決定する通り道です。必要な情報だけを抽出して出力します。
アテンション
アテンション機構は、データ全体の中で「どこに注目すべきか」を重み付けする仕組みです。LSTMのゲートとは異なる、情報の重要度を測るための手法です。