1. 引言

我们上次介绍了利用到了baseline的一种算法：REINFORCE。现在我们来学习一下另一种利用到baseline的算法：Advantage Actor-Critic(A2C)

2. 数学推导

我们在Sarsa算法中推导出了这个公式 $Q_{\pi}(s_t,a_t)=E_{S_{t+1},A_{t+1}}[R_t+\gamma Q_{\pi}(S_{t+1},A_{t+1})]$ ，我们分部期望 $Q_{\pi}(s_t,a_t)=E_{S_{t+1}}[E_{A_{t+1}}[R_t+\gamma Q_{\pi}(S_{t+1},A_{t+1})]]=E_{S_{t+1}}[R_t+\gamma V_{\pi}(S_{t+1})]$

两边对 $A_t$ 求期望 $V_{\pi}(s_{t})=E_{A_t}[E_{S_{t+1}}[R_t+\gamma V_{\pi}(S_{t+1})]]=E_{A_t,S_{t+1}}[R_t+\gamma V_{\pi}(S_{t+1})]$

我们便得到了关于状态价值函数的递推关系式 $V_{\pi}(s_{t})=E_{A_t,S_{t+1}}[R_t+\gamma V_{\pi}(S_{t+1})]$

使用蒙特卡罗算法近似右侧期望 $r_t+\gamma V_{\pi}(s_{t+1})\approx E_{A_t,S_{t+1}}[R_t+\gamma V_{\pi}(S_{t+1})]$ ，我们得到

$V_{\pi}(s_t)\approx r_t+\gamma V_{\pi}(s_{t+1})$ 又由 $Q_{\pi}(s_t,a_t)=E_{S_{t+1}}[R_t+\gamma V_{\pi}(S_{t+1})]$ ，也是使用蒙特卡罗算法，我们得到 $Q_{\pi}(s_t,a_t)\approx r_t+\gamma V_{\pi}(s_{t+1})$ ，总结一下，现在我们得到两个近似公式，分别记为公式1和公式2。

$Q_{\pi}(s_t,a_t)\approx r_t+\gamma V_{\pi}(s_{t+1})$
$V_{\pi}(s_t)\approx r_t+\gamma V_{\pi}(s_{t+1})$

它们在后面各有用处。

在REINRORCE中我们推导出了随机梯度的表达式 $g(a_t)=\frac{\partial \,\ln{\pi}(a_t|s_t;\theta)}{\partial \,\theta}(Q_{\pi}(s_t,a_t)- V_{\pi}(s_t))$ 我们用它来更新策略函数，这里的 $Q_{\pi}(s_t,a_t)- V_{\pi}(s_t)$ 就是我们之前在Dueling Network讲过的优势函数，这便是Advantage的来源。现在需要解决 $Q_{\pi}(s_t,a_t)$ 和 $V_{\pi}(s_t)$ 两个未知量的近似，由公式1，我们解决了 $Q_{\pi}(s_t,a_t)$ 的近似问题，对于 $V_{\pi}(s_t)$ 我们使用神经网络 $v(s;w)$ 来近似它，于是我们得到

$g(a_t)\approx \frac{\partial \,\ln{\pi}(a_t|s_t;\theta)}{\partial \,\theta}(r_t+\gamma v(s_{t+1};w)- v(s_t;w))$ ，由于 $r_t+\gamma v(s_{t+1;w})$ 含有更多的真实信息，我们将其作为TD target 使 $v(s_t;w)\rightarrow r_t+\gamma v(s_{t+1};w)$ 来优化价值函数的参数。

3. 算法

A2C算法本质上还是一种Actor-Critic方法，所以还是分为两个神经网络进行训练，一个是策略网络(Actor)，另一个是价值网络(Critic)

观测到一个transition $(s_t,a_t,r_t,s_{t+1})$
计算TD target $y_t=r_t+\gamma v(s_{t+1};w)$
计算TD error $\delta_t=v(s_t;w)-y_t$
通过梯度上升 $\theta\leftarrow \theta-\beta\,\delta_t\frac{\partial \,\ln{\pi}(a_t|s_t;\theta)}{\partial \,\theta}$ 更新策略网络
通过梯度下降 $w\leftarrow w-\alpha\delta_t\,\frac{\partial \,v(s_t;w)}{\partial \,w}$ 更新价值网络