强化学习6——policy gradient的优化（ Use temporal causality，Baseline and Critic）

policy gradient的优化

听周博雷教授的课程有感

为什么优化

因为基于MC policy gradient的优化，方差较大

方法1： Use temporal causality

使用时序上的因果关系Use temporal causality（不要纠结公式，体会思想，这些等式都是可以严格推导的）：取一条轨迹t=0,…,t=T-1。
?
  （原始的梯度）：${?}_{\theta }J(\theta )={?}_{\theta }{\mathbb{E}}_{\tau ?{\pi }_{\theta }}[R]={\mathbb{E}}_{\tau }\left[\left({\sum }_{t=0}^{T?1}{r}_t\right)\left({\sum }_{t=0}^{T?1}{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right)\right]$
?
  （一个点的回报的梯度，推导略）：${?}_{\theta }{\mathbb{E}}_{\tau ?{\pi }_{\theta }}\left[r_{t^{\prime }}\right]={\mathbb{E}}_{\tau }\left[r_{t^{\prime }}{\sum }_{t=0}^{t^{\prime }}{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$
?
  （原始的梯度就变成）：（根据期望的可加性：E(X+Y)=EX+EY）得${?}_{\theta }J(\theta )={?}_{\theta }{\mathbb{E}}_{\tau ?{\pi }_{\theta }}[R]={\sum }_{t=0}^{T?1}{?}_{\theta }{\mathbb{E}}_{\tau ?{\pi }_{\theta }}\left[r_{t^{\prime }}\right]={\sum }_{t=0}^{T?1}{\mathbb{E}}_{\tau }\left[r_{t^{\prime }}{\sum }_{t=0}^{t^{\prime }}{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]={\mathbb{E}}_{\tau }\left[{\sum }_{t^{\prime }=0}^{T?1}{r}_{t^{\prime }}{\sum }_{t=0}^{t^{\prime }}{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]={\mathbb{E}}_{\tau }\left[{\sum }_{t=0}^{T?1}{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right){\sum }_{t^{\prime }=t}^{T?1}{r}_{t^{\prime }}\right]={\mathbb{E}}_{\tau }\left[{\sum }_{t=0}^{T?1}{G}_t?{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$
?
  （最后的梯度公式）${?}_{\theta }J(\theta )={\mathbb{E}}_{\tau ?{\pi }_{\theta }}\left[{\sum }_{t=0}^{T?1}{G}_t?{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]\approx \frac{1}{m}{\sum }_{i=1}^m{\sum }_{t=0}^{T?1}{G}_t^{(i)}?{?}_{\theta }\log {\pi }_{\theta }\left(a_t^i\mid s_t^i\right)$（这里的约等于是因为采用了MC蒙特卡洛采样的方法，采样了m条轨迹，进行平均）

  从上面的式子可以看出来，$G_{(}t)$(从t到T-1的奖励回报)只与t时刻的策略概率有关，而与t之前的策略概率无关。相反原始的梯度中t后面的策略概率也会影响t前面的奖励，这就导致了训练的不稳定性，导致方差较大。

基于此的一个MC策略梯度算法是REINFORCE：参考下面这个paper
Classic paper: Williams (1992). Simple statistical gradient-following
algorithms for connectionist reinforcement learning: introduces
REINFORCE algorithm

方法2：Using a Baseline

这里用上面方法1处理出来的梯度${?}_{\theta }J(\theta )={\mathbb{E}}_{\tau ?{\pi }_{\theta }}\left[{\sum }_{t=0}^{T?1}{G}_t?{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$进行Baseline优化：
加上一个baseline：${?}_{\theta }J(\theta )={\mathbb{E}}_{\tau ?{\pi }_{\theta }}\left[{\sum }_{t=0}^{T?1}\left(G_t?b\left(s_t\right)\right)?{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$
这里这个baseline可以选择$b\left(s_t\right)=\mathbb{E}\left[r_t+r_{t+1}+\dots +r_{T?1}\right]$，也可以选择带有参数的$b_w(s_t)$，只是这样我们就需要优化$\theta 和w两项参数$
基于此的一个MC策略梯度算法Vanilla Policy Gradient Algorithm with Baseline：
Sutton, McAllester, Singh, Mansour (1999). Policy gradient methods
for reinforcement learning with function approximation

方法3：Using a Critic

这里用上面方法1处理出来的梯度${?}_{\theta }J(\theta )={\mathbb{E}}_{\tau ?{\pi }_{\theta }}\left[{\sum }_{t=0}^{T?1}{G}_t?{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$进行Critic优化：由于采样出来的$G_t$实际上是无偏且有噪音的$Q^{{\pi }_{\theta }}\left(s_t,a_t\right)$，所以这里如果想要减小方差，那么就可以直接用$Q^{{\pi }_{\theta }}\left(s_t,a_t\right)$来代替$G_t$即可。

那么梯度就变为：${?}_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\sum }_{t=0}^{T?1}{Q}_w\left(s_t,a_t\right)?{?}_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$，只不过这种情况，我们需要优化$\theta$和$w$两项参数。