問題 No.1280
マルコフ決定過程に基づく強化学習において、エージェントは将来にわたって得られる報酬の合計を最大化するように方策を学習する。このとき、遠い未来に得られる報酬の価値を現在の価値に換算する際、不確実性を考慮して少しずつ目減りさせるために掛け合わせるパラメータについて、不適切な記述はどれか。
【正解の解説】
このパラメータは学習率と呼ばれ、1回の学習ステップでニューラルネットワークの重みを更新する幅を決定する。
これは学習率の説明であり、強化学習における報酬の将来価値を割引く「割引率」とは別の概念です。
スポンサーリンク
【その他の選択肢の解説】
このパラメータを0に設定すると、エージェントは直近で得られる即時報酬のみを重視するようになる。
割引率を0にすると、未来の報酬を全く考慮せず、目の前の利益だけを追いかけるようになります。
このパラメータを1に近づけると、エージェントは遠い未来の報酬も現在と同じように重視して行動を計画する。
割引率を1に近づけると、未来の報酬の価値が減らなくなるため、長期的な利益を重視するようになります。
このパラメータを適切に設定することで、無限に続くエピソードにおいても報酬の総和が発散することを防ぐ効果がある。
報酬を割引くことで、永久に報酬が得られるタスクでも総和が有限に収まるようになります。