算法SAC

• 基于动态规划的贝尔曼方城如下所示：
  
  则，基于最大熵的软贝尔曼方程可以描述为如下的形式：
  
  可以这么理解soft贝尔曼方程，就是在原有的贝尔曼方程的基础上添加了一个熵项。
  另外一个角度理解soft-贝尔曼方程：
  首先，将熵项作为奖励函数的一部分，写为如下的形式：
  
  然后将这个$r_{soft}$带入到贝尔曼方程中去，然后通过进一步的转化形式，就可以得到可以得到如下的形式：
  $\begin{array}{rl}{Q}_{soft}\left(s_t,a_t\right)& =r\left(s_t,a_t\right)+\gamma \alpha {\mathbb{E}}_{s_{t+1}\sim \rho }H\left(\pi \left(\cdot \mid s_{t+1}\right)\right)+\gamma {\mathbb{E}}_{s_{t+1},a_{t+1}}\left[Q_{soft}\left(s_{t+1},a_{t+1}\right)\right]\\ & =r\left(s_t,a_t\right)+\gamma {\mathbb{E}}_{s_{t+1}\sim \rho ,a_{t+1}\sim \pi }\left[Q_{soft}\left(s_{t+1},a_{t+1}\right)\right]+\gamma \alpha {\mathbb{E}}_{s_{t+1}\sim \rho }H(\pi \left(\cdot \mid s_{t+1}\right)\\ & =r\left(s_t,a_t\right)+\gamma {\mathbb{E}}_{s_{t+1}\sim \rho ,a_{t+1}\sim \pi }\left[Q_{soft}\left(s_{t+1},a_{t+1}\right)\right]+\gamma {\mathbb{E}}_{s_{t+1}\sim \rho }{\mathbb{E}}_{a_{t+1}\sim \pi }[-\alpha \log \left[\pi \left({\mathrm{a}}_{\mathrm{t}+1}\mid {\mathrm{s}}_{\mathrm{t}+1}\right)\right)\\ & =r\left(s_t,a_t\right)+\gamma {\mathbb{E}}_{s_{t+1}\sim \rho }\left[{\mathbb{E}}_{a_{t+1}\sim \pi }\left[Q_{soft}\left(s_{t+1},a_{t+1}\right)\alpha \log \left(\pi \left(a_{t+1}\mid s_{t+1}\right)\right)\right]\right]\\ & =r\left(s_t,a_t\right)+\gamma {\mathbb{E}}_{s_{t+1},a_{t+1}}\left[Q_{soft}\left(s_{t+1},a_{t+1}\right)-\alpha \log \left[\pi \left(a_{t+1}\mid s_{t+1}\right)\right)\right]\end{array}$
  会得出同样的结论。

看上公式的最后一项，以及根据Q和v的关系函数：
$\begin{array}{rl}{Q}_{soft}\left(s_t,a_t\right)& =r\left(s_t,a_t\right)+\gamma {\mathbb{E}}_{s_{t+1},a_{t+1}}\left[Q_{soft}\left(s_{t+1},a_{t+1}\right)-\alpha \log \left[\pi \left(a_{t+1}\mid s_{t+1}\right)\right)\right]\end{array}$
$Q\left(s_t,a_t\right)=r\left(s_t,a_t\right)+\gamma {\mathbb{E}}_{s_{t+1}\sim \rho }\left[V\left(s_{t+1}\right)\right]$
对比一下上面的这两个公式，也就是等号右侧应该是相等的，因此，软值函数形式为：

中间证明先略过，还不想看

对应代码部分