深度强化学习算法的参数更新时机
深度强化学习中往往涉及到多个神经网络来拟合策略函数、值函数等，什么时候更新参数因算法而异，与具体算法架构/算法思想紧密相关。
| 算法 | 参数更新时机 | 架构 |
|---|---|---|
| DQN | 先收集一定经验，然后每步更新 | Off Policy Value-Based |
| DDPG | 先收集一定经验，然后每步更新 | Off Policy Actor-Critic |
| TD3 | 先收集一定经验，然后每步更新 | Off Policy Actor-Critic |
| SAC | 先收集一定经验，然后每步更新 | Off Policy Actor-Critic |
| REINFORCE | 每步更新 | On Policy Policy Gradient |
| VPG | 每个episode更新一次 | On Policy Actor-Critic |
| A2C/A3C | 每步更新 | On Policy Actor-Critic |
| PPO | 每个episode采集结束后，集中抽样更新多次 | On Policy Actor-Critic |
| TRPO | 每个episode采集结束后，集中抽样更新多次 | On Policy Actor-Critic |
