Q-Learning-1

学习地址

Critic

Q-Learning是value-based的强化学习，它学习的是一个Critic，评价所给出的actor π有多好

例如： State value function V^π(s)

• 当使用actor π，V^π(s)所代表就是在观察到状态s后累积的期望收益值
  

如何衡量V^π(s)

基于蒙特卡罗

Critic观察 π 玩游戏，让Agent与环境互动
当看到状态s_a时，到游戏结束所得到的累积收益越接近G_a越好，但需要等到游戏结束才能得到结果

基于时间差分(Temporal-difference)

不需要等一整个episode结束，只需等到一个状态(s_t ，a_t，r_t)到下一个状态s_t+1
V^π(s_t)=V^π(s_t+1) + r_t

State-action value function Q^π(s,a)

假设在状态s采取的行为是a，在策略π下所累积的收益期望

Target Network

训练时固定一个Q^π，作为目标网络，更新其他的Q^π，然后用更新好几次的Q代替所固定的Q

Exploration

Replay Buffer

Algorithm