DQN

Q-Learning如果状态空间或动作空间非常大乃至连续那么用一个表格来存储

Q(s,a)

(i.i.d.)打破连续时间步样本的相关性提高数据效率能够反复使用历史数据进行训练。

Target

值如果使用同一个网络同时执行动作选择和目标计算可能导致训练不稳定解决方案维持一个“目标网络”

\***ta

L(θ)E(s,a,r,s′)∼D​[(y−Q(s,a;θ))2]

\***ta

a∗argmaxa′​Q(s′,a′;θ),yrγQ^​(s′,a∗;θ−)​这样能够有效减小

Dueling

\frac{1}{|\mathcal{A}|}\sum_{a}A(s,a)

Q(s,a)V(s)A(s,a)−∣A∣1​a′∑​A(s,a′)能让网络更好地学习状态本身的价值在某些情况下提升训练效率。

优先级回放Prioritized

参数化并通过梯度上升来最大化期望回报。

这类方法对连续动作空间尤其有效。

2.2.1

开始的折扣回报Return。

在实现中常见做法是采样多个完整的episode计算每个时间步的

log

优点实现简单可以处理连续或离散动作空间适用于高维输出缺点方差大收敛速度慢需要对整条轨迹进行采样。

2.2.2

为了降低纯策略梯度方法的高方差在更新策略时引入价值函数的基线Baseline。

这就带来了Actor-Critic框架。

Actor表示策略网络

πθ​(a∣s)输出动作概率或连续动作的均值、方差等Critic表示价值网络

V^\omega(s)

来衡量某个动作相对平均水平的好坏A3CAsynchronous

Advantage

Actor-Critic多线程/多进程异步采样每个线程都有自己的

Actor

Critic与环境交互并计算梯度再将梯度同步到全局参数中优点并行采样效率更高在当年的硬件条件下显著加速了训练。

(3)

对于更复杂的场景如连续动作或高维动作的控制我们需要更先进的算法来保证训练的稳定性和效率。

下面介绍几种主流算法DDPG、TD3、PPO、SAC。

2.3.1

L(ω)(rγQω(s′,μθ​(s′))−Qω(s,a))2Actor

更新基于策略梯度

Q^\omega(s,a)\big|_{a\mu_\***ta(s)}

\nabla_\***ta

优势适合连续动作在一些机器人控制场景有良好表现局限训练不稳定对超参数和初始化较敏感容易陷入局部最优或碰到多步预测误差累积。

2.3.2

更充分地学习目标平滑在下一个状态动作上加噪声以减少因函数不平滑引起的过高估计综合这些改进使

TD3

策略梯度算法兼具易实现、稳定和高效的特性问题直接进行策略梯度更新步长较大时会毁掉之前学到的策略引发不稳定。

解决PPO

(2)

使用**剪切clipping**的目标函数限制更新幅度定义概率比

old

\frac{\pi_\***ta(a_t|s_t)}{\pi_{\***ta_\text{old}}(a_t|s_t)}

rt​(θ)πθold​​(at​∣st​)πθ​(at​∣st​)​

然后在优化时将其裁剪在一定范围内如

算法目标不仅是最大化回报还要最大化策略的熵entropy鼓励策略尽量保持随机以提升探索能力、提高鲁棒性通过在目标中加入熵项

\alpha

Actor输出动作分布参数高斯分布的均值、方差Critic有两个

网络双

熵正则高探索让策略在训练前期保持足够随机减少早期陷入局部最优在许多连续控制任务中性能优异且收敛更稳定。

总结与对比

NetworkAtari、离散控制易实现对离散动作较好对连续动作需改进存在过估计等问题Double

DQNDQN

(REINFORCE)直接对策略参数化梯度上升可处理离散或连续动作实现简单方差大收敛慢Actor-Critic

(A2C/A3C)策略网络

价值网络降低方差常用在并行、多线程场景训练速度快易于扩展可能仍有不稳定DDPG基于

Actor-Critic用确定性策略处理连续动作机器人控制、模拟仿真等连续任务适合连续动作易陷入不稳定需

carefully

同更鲁棒减少过估计实现稍复杂PPOOn-policy使用剪切损失保证策略改进稳定机器人、游戏等多种场景易实现、效果好在学术及工业上均较常用SACOff-policy熵正则化鼓励探索连续动作、高维控制收敛稳定探索充分在许多基准任务中效果出色

DQN

等。

具体选择哪种算法一般需要根据环境特征、数据采集方式on-policy

off-policy、以及对稳定性和采样效率的要求做综合考量。

DQN

基本策略梯度REINFORCE概念最简单但方差大Actor-Critic

引入价值函数基线降低方差衍生出

掌握了深度强化学习主流算法的基本原理、核心公式和核心实现细节并能够在常见基准环境如

OpenAI

等上独立训练和测试这些算法。

这为后续在多智能体强化学习、人机协作指挥决策等更复杂场景的扩展奠定了坚实基础。