問題 No.1167
強化学習の手法であるDQNは、ゲームなどで人間に勝利するAIの基盤となった技術である。このDQNの特徴や、従来のQ学習にディープラーニングを組み合わせた理由に関する記述として、最も不適切なものはどれか。
【正解の解説】
時系列データの順序性を保ったまま学習を進めるため、直前に行った行動と得られた報酬のステップをそのままの順番で連続してネットワークに入力する。
DQNでは学習の安定化のために、順番通りに学習させるのではなく、過去の経験をランダムに取り出す「経験再生（Experience Replay）」という仕組みを使うのが一般的です。
スポンサーリンク
【その他の選択肢の解説】
従来のQ学習では状態と行動の組み合わせをすべて表として保持していたため、画面画像のように状態数が膨大になると計算が破綻する課題があった。
従来のQ学習では、状態と行動の組み合わせすべてを大きな表（テーブル）に記録する必要があり、画面上の細かい画素のような膨大な状態を扱うのには限界がありました。
ディープニューラルネットワークを入力から行動の評価値を出力する関数近似器として用いることで、複雑な状態表現を可能にした。
ディープニューラルネットワークを使うことで、膨大な状態を直接計算できなくても、近似的に「この状態ならこの行動が良い」と判断できるようになりました。
学習の安定化を図るため、値を計算するネットワークとは別に、パラメータを一定期間固定して目標値を算出するためのネットワークを用意している。
DQNではターゲットネットワークを用意し、目標値を計算するためのパラメータをあえて一定期間固定することで、学習が不安定になるのを防いでいます。