examples/ppo_trainer/README.md

近端策略优化（Proximal

Optimization，PPO）是一类用于强化学习的策略梯度方法，由

OpenAI

应用（包括大规模语言模型微调）中最广泛使用的算法之一。

像

使用一种裁剪后的替代目标函数来解决这个问题，该函数避免了过大的更新，同时不需要二阶导数。

关于

来计算优势值，这有助于在保持低偏差的同时减少策略梯度估计的方差。

裁剪后的替代目标：PPO

的核心是通过裁剪后的替代目标函数实现的，该函数限制了策略更新。

src="https://github.com/user-attachments/assets/16aebad1-0da6-4eb3-806d-54a74e712c2d"

alt="image"

data.train_batch_size：用于生成一组采样轨迹/rollout

actor_rollout.ref.rollout.n。

actor_rollout_ref.actor.ppo_mini_batch_size：采样得到的轨迹集被分割成多个大小为

ppo_mini_batch_size

PPO

的更新。

ppo_mini_batch_size

critic.ppo_mini_batch_size：采样得到的轨迹集被分割成多个大小为

ppo_mini_batch_size

PPO

的更新。

ppo_mini_batch_size

actor_rollout_ref.actor.clip_ratio：PPO

actor_rollout_ref.actor.ppo_epochs：在一组采样轨迹上对

actor

critic.ppo_epochs：在一组采样轨迹上对

critic

actor_rollout_ref.actor.ppo_epochs。

algorithm.gamma：折扣因子。

algorithm.lam：在

GAE

algorithm.adv_estimator：支持

gae、grpo、reinforce_plus_plus、reinforce_plus_plus_baseline、rloo、rloo_vectorized（似乎

PPO

actor_rollout_ref.actor.use_kl_loss：是否在

actor

actor_rollout_ref.actor.kl_loss_coef：KL

actor_rollout_ref.actor.kl_loss_type：支持

kl(k1)、abs、mse(k2)、low_var_kl(k3)

"+"（例如，'k1+'

进行无偏梯度估计（更多细节请参阅：https://github.com/volcengine/verl/pull/2953#issuecomment-3162113848）。

用于计算

actor

散度的方法。

有关详细分析，请参阅此博客文章：http://joschu.net/blog/kl-approx.html。

algorithm.use_kl_in_reward：是否启用奖励内部的

algorithm.kl_penalty：支持

kl(k1)、abs、mse(k2)、low_var_kl(k3)

actor

kl_penalty。

有关详细分析，请参阅此博客文章：http://joschu.net/blog/kl-approx.html。

algorithm.kl_ctrl.kl_coef：奖励内部

algorithm.kl_ctrl.type：'fixed'

algorithm.kl_ctrl.horizon：有关详细信息，请参阅

AdaptiveKLController

algorithm.kl_ctrl.target_kl：有关详细信息，请参阅

AdaptiveKLController

引入了一种方法，当优势小于零时，对策略比率应用一个下限，使得当比率乘以一个较大的数时，不超过指定的下限。

src="https://github.com/user-attachments/assets/fc232181-d8b0-4307-8dd2-4dc0a4c1c139"

alt="image"

actor_rollout_ref.actor.clip_ratio_c：双重裁剪

PPO

\actor_rollout_ref.rollout.tensor_model_parallel_size=1

\critic.model.path=Qwen/Qwen2.5-0.5B-Instruct

\actor_rollout_ref.model.path=Qwen/Qwen2.5-0.5B-Instruct

\actor_rollout_ref.actor.ppo_mini_batch_size=64

\actor_rollout_ref.actor.ppo_micro_batch_size=2

Qwen/Qwen2.5-0.5B-Instruct

预训练模型

Qwen/Qwen2.5-0.5B-Instruct

PPO

examples/grpo_trainer/README.md

在强化学习中，像

这样的经典算法依赖于一个“评论家”模型来估计动作的价值，从而指导学习过程。

然而，训练这个评论家模型可能非常耗费资源。

GRPO

通过消除对单独评论家模型的需求来简化这个过程。

它的运作方式如下：

组采样：对于给定的问题，模型生成多个可能的解决方案，形成一个输出“组”。

奖励分配：每个解决方案根据其正确性或质量进行评估并分配一个奖励。

基线计算：该组的平均奖励作为基线。

策略更新：模型通过将每个解决方案的奖励与组基线进行比较来更新其参数，增强优于平均水平的解决方案，并抑制劣于平均水平的解决方案。

这种方法通过避免训练单独的价值估计模型来减少计算开销，使学习过程更加高效。

更多详情，请参考原始论文

DeepSeekMath:

无价值函数（无评论家）：与

PPO

rollout，而是为每个提示从当前策略生成多个补全（响应）。

这组补全被称为一个组。

相对奖励：在每个组内，对补全进行评分（例如，基于正确性），并根据组内情况对奖励进行相对归一化。

src="https://github.com/user-attachments/assets/16aebad1-0da6-4eb3-806d-54a74e712c2d"

alt="image"

actor_rollout.ref.rollout.n：每个提示的采样次数。

默认为

GRPO，请将其设置为大于

data.train_batch_size：用于生成一组采样轨迹/rollout

actor_rollout.ref.rollout.n。

actor_rollout_ref.actor.ppo_mini_batch_size：采样得到的轨迹集被分割成多个大小为

ppo_mini_batch_size

PPO

的更新。

ppo_mini_batch_size

actor_rollout_ref.actor.ppo_epochs：在一组采样轨迹上对

actor

actor_rollout_ref.actor.clip_ratio：GRPO

algorithm.adv_estimator：默认为

GRPO，请将其设置为

actor_rollout_ref.actor.loss_agg_mode：默认为

"token-mean"、"seq-mean-token-sum"、"seq-mean-token-mean"。

原始的

GRPO

论文采用样本级损失（seq-mean-token-mean），这在长思维链场景中可能不稳定。

verl

GRPO

actor_rollout_ref.actor.use_kl_loss：是否在

actor

actor_rollout_ref.actor.kl_loss_coef：KL

actor_rollout_ref.actor.kl_loss_type：支持

kl(k1),

'k3+'）将应用直通（straight-through）技巧，无论

值估计如何，都采用

进行无偏梯度估计（更多细节请参阅：https://github.com/volcengine/verl/pull/2953#issuecomment-3162113848）。

用于计算

actor

散度的方法。

有关详细分析，请参阅此博客文章：http://joschu.net/blog/kl-approx.html。

存在优化偏差，会导致人为地生成长响应，尤其是在输出不正确的情况下。

这种低效率源于

GRPO

使用基于组的奖励归一化来计算优势的方式，这可能会无意中偏向更长、准确度较低的响应。

相反，DrGRPO

token