| ming

前面几章我们讲了 DQN 和它的一堆变体，像 DQN、Double DQN、Dueling DQN 啥的，dou是在搞那个动作价值函数 Q。这玩意儿就是个打分机制，给每个状态-动作对打个分，然后挑Zui高分的动作去Zuo。

说实话，这套方法在 Atari 游戏里确实牛，但你要是换个环境，比如连续动作空间的控制问题，它就有点拉胯了。害，这不怪它，主要是设计上就不太适合处理连续动作，你懂的，DQN 那一套是为离散动作空间量身定Zuo的。

所以这时候，策略梯度法就该上场了。它不靠 Q 函数来判断动作值不值钱，而是直接优化策略本身。说白了就是“我直接调策略，还管你值不值钱干嘛？”

这思路就清爽多了对吧？

策略梯度法到底是个啥？

策略梯度法的核心思想是啥？就是直接优化策略，而不是绕个大弯去学 Q 函数。

它用的是神经网络来建模策略函数 πθ，输入状态 s，输出动作 a 的概率分布。这个策略函数就是个“大脑”，直接告诉你在某个状态下该干啥。

比如在离散动作空间里它输出的是每个动作的概率；在连续动作空间里它输出的是动作的均值和方差，然后你就Ke以采样出一个动作来。

这比 DQN 那一套直接多了对吧？

而且，它不依赖 Q 函数，所以天然适合连续动作空间。你不用再搞什么 ε-贪婪策略，也不用担心动作空间太密、太复杂。

你只需要让策略函数自己学着去选动作，然后优化它就行。优化目标就是让期望收益 J Zui大化。

这玩意儿听着简单，但实现起来可不简单。因为你要优化的是一个期望值，不是确定的函数，所以你得采样一堆轨迹，然后用这些轨迹来估计梯度，再geng新参数 θ。

这不就是策略梯度嘛！

REINFORCE：策略梯度的开山鼻祖

这玩意儿是策略梯度法里Zui原始、Zui朴素的算法，叫 REINFORCE。

它不学 Q 函数，不搞那些弯弯绕绕，直接对策略函数 πθ 建模，然后用蒙特卡洛方法来geng新参数。

啥是蒙特卡洛？就是你得跑完整个 episode，然后根据这个 episode 的总回报来geng新策略参数。这方法有个问题，就是方差大，geng新不稳定。

但你别说它思想简单，容易理解，是策略梯度法的起点。

你想想，它直接优化的是策略函数，不是 Q 函数，所以它天然适合连续动作空间。你懂的，DQN 那一套在连续动作空间里就有点捉襟见肘了。

所以策略梯度法，就是为了解决这个问题而生的。

策略梯度法的疑问点

那问题来了策略梯度法虽然牛，但它也不是万Neng的。咱就是说它其实也有一堆坑。

比如策略梯度法的geng新方差大，你得采样hen多轨迹才Neng估计得准。这在实际应用中，就hen慢，效率低。

而且，策略梯度法对奖励函数hen敏感。你奖励函数设计得不好，它就容易跑偏。你懂的，强化学习这玩意儿，奖励函数设计得好，事半功倍；设计得不好，神仙也救不了。

还有，策略梯度法的geng新是 on-policy 的，也就是说你得边采样边geng新，不Neng复用旧数据。这跟 DQN 那种 off-policy 的方式比起来效率低了不少。

对了还有个问题，就是策略梯度法容易卡在局部Zui优。你训练得久了它可Neng就卡在一个还行但不是Zui优的策略上，动不了了。

这不怪它，是优化方法的问题。你得加点 trick，比如 TRPO、PPO 这些，来控制geng新步长，防止策略崩了。

害，这玩意儿就是强化学习的通病，不是你方法不行，是优化本身就有问题。

策略梯度法的“亲儿子”们

那你说策略梯度法这么难搞，为啥还要用它？

因为它Neng处理连续动作空间啊！

你像 DDPG、TD3、PPO、SAC 这些，dou是策略梯度法的“亲儿子”。它们在连续控制任务上杀疯了。

比如 Mujoco 上的机械臂控制、自动驾驶、机器人走路，这些任务dou得靠策略梯度法来打。

你想想，你让 DQN 去控制一个机械臂的连续动作，它Neng搞死你。但策略梯度法就不一样了它直接输出动作，不用你一个一个动作去试。

所以策略梯度法虽然难搞，但它在连续控制上是真的香。

那它到底难在哪？

说实话，策略梯度法的geng新方差大，训练慢，容易崩，这dou是实话。

你得采样hen多轨迹才Neng估计出一个靠谱的梯度，这在实际中就是慢。

而且，策略梯度法对奖励函数太敏感了你设计不好，它就学歪了。

还有，策略梯度法容易过拟合，你得加一堆正则化、奖励归一化、动作归一化，才Neng稳住。

所以策略梯度法虽然香，但你得加一堆 trick 才Neng用得动。

比如 PPO，就是为了解决geng新不稳定的问题；SAC 是为了平衡探索和利用；TD3 是为了减少方差；DDPG 是为了稳定训练。

你kankan，这些算法哪个不是在给策略梯度法打补丁？

所以策略梯度法虽然原始，但它是所有现代强化学习算法的爹。

它的问题是你得加一堆技巧才Neng用，不然就容易崩。

但你一旦搞定了它在连续控制上是真的牛。

一下

策略梯度法虽然难搞，但它绕过了 Q 函数这个中间商，直接优化策略，效率高，适合连续控制。

虽然它方差大、训练慢、容易崩，但你加点 trick，比如 PPO、SAC、TD3，它就Neng起飞。

所以别kan它现在难搞，它其实是未来。

你懂的，强化学习这玩意儿，就是个不断打补丁的过程。你得有耐心，有技巧，还得有点运气。

害，谁让它这么香呢？

---