問題 No.871
強化学習において、エージェントに望ましい行動を学習させるための報酬設計を行う際の注意点や特徴として不適切なものはどれか。
【正解の解説】
報酬の与え方に関わらず、エージェントは常に人間が頭の中で期待した通りの最も倫理的で効率的なプロセスを自動的に推論して実行する
AIはあくまで与えられた報酬関数を最大化するように動くだけです。報酬設計が不完全であれば、倫理観を無視した効率的なプロセスを勝手に実行してしまうため、設計には細心の注意が必要です。
スポンサーリンク
【その他の選択肢の解説】
最終的なゴールを達成した時だけに大きな報酬を与える疎な報酬は、ゴールに到達する確率が低い複雑なタスクでは学習が進みにくい
ゴールまで何百手もかかるような複雑なタスクで、最後にしか報酬がもらえないと、偶然成功するまで学習が進みません。これを疎な報酬問題と言います。
学習を加速させるために細かく途中の行動に報酬を設定しすぎると、開発者の意図しない抜け道のような不適切な行動パターンを学習してしまうことがある
中途半端な報酬を細かく設計しすぎると、AIは「ゴールに行くこと」よりも「報酬を効率よく得る抜け道」を探してしまい、意図しないズルをすることがあります。
エージェントは累積報酬を最大化するように行動を選択するため、負の報酬を適切に与えることで危険な状態を回避する行動を促すことができる
エージェントが避けたい行動（危険な行動）には「負の報酬（ペナルティ）」を与えることで、それを避けるような知恵を身につけさせることができます。