来源：深度学习自然语言处理作者：绊缘
https://zhuanlan.zhihu.com/p/1932829167801574272

本文约1800字，建议阅读5分钟在本论文中，我们旨在通过关注多模态智能的三个关键维度来推动该领域的发展：多模态对齐性、鲁棒性和泛化性。

1. 引言

在更大的语言模型上使用 GRPO 时，会出现训练不稳定的情况[1][2]。在这篇论文，作者认为这种现象源于 GRPO 的重要性权重的设计错误，GRPO 对于 next-token 的重要性权重，容易引入高方差的噪声，在 response 的长度的增加和裁剪机制的作用下，最终导致训练崩溃。

为了解决这一问题，论文提出 GSPO (Group Sequence Policy Optimization)，将针对 token 分布的权重改换为针对 sequence 的重要性权重，并且从 sequence 的维度来计算梯度，而不是 token 的维度，和 reward 本身的定义保持一致。

最终，GSPO 在 MoE 模型的 RL 训练上解决了稳定性问题，从而不必单独设计复杂的 trick 来维持稳定，简化了 RL 架构。

2. 动机

RL 阶段，我们首先会采样一个 large rollout batch，为了提高采样效率，通常我们会将其切分成几个 mini-batches 来进行梯度更新，这一过程无可避免地会导致 off-policy 场景的出现，同时这也一定程度上说明了 PPO 和 GRPO 的 clip 机制可以防止那些过度 off-policy 的样本参与梯度计算。

尽管类似 clip 的机制有助于缓解 off-policy 带来的问题，然而 GRPO 错误应用了重要性权重。

重要性采样. 借助对于从行为分布   采样的权重进行权重分配，从而用来估计函数   在目标分布   下的期望：

这需要从行为分布采样多个样本，而不是一个。

然而 GRPO 中重要性权重设计为   ，这一权重主要考虑   ，显然这个分布在当前的 setting 下只有一个采样样本，即   ，而这违背了采样性权重的期望形式的定义。

而如果重要性权重是应用在   上，即从 sequnece-level 上去考虑整个优化问题，在 GRPO 算法里至少我们拥有一组针对同一分布的重要性权重值，而且 sequnece-level 更能匹配奖励函数的设计 (奖励一般是针对整个 response 打分)。

3. 算法

当我们从 sequence-level 上考虑问题，按照重要性采样定义，RL 的目标为：

这很自然地和 sequence-level reward 定义一致，也让 clip 的机制意义更明确 (筛去过度 off-policy 的 sequence 的梯度)。

基于以上观察，论文提出 GSPO 算法，它使用以下目标：

，

奖励使用 group-based 来估计：

重要性权重使用平均后的序列似然来定义：

4. 分析

我们将 GSPO 和 GRPO 目标的梯度进行对比：

GRPO 的梯度为：

二者的区别主要在于，如何给 tokens 的似然的梯度赋予权重。可以看到 GRPO，针对每个 token 赋予分布   的重要性采样权重。然而，这样的   所修正的分布对于每个 token 来说是不一致的，将它们都用一个标准   来 clip 也显得不合适。相比之下，GSPO 为 tokens 赋予 sequence 级别重要性采样权重。

4.1 token level 上的变体

某些场景下 (multi-turnRL)，我们可能还是想在 token 级别上针对优势进行细粒度调整，为此，论文提出了 GSPO 的变体 GSPO-token，它拥有和 GSPO 一致的梯度。

其中

这里   表示 stop gradient，作为常数参与梯度计算。当   时，GSPO-token 在优化目标、裁剪条件以及理论梯度方面在数值上与 GSPO 是一致的。

5. 实验

5.1 实验结果

使用基于 Qwen3-30B-A3B-Base 的 SFT 微调后的冷启动模型，采用 GSPO (不使用路由重放策略)和 GRPO + Routing Replay training strategy 两者设置。下图给出了训练时奖励的变化曲线以及在 AIME24、LiveCodeBench、CodeForces (Elo Rating)上的表现。

相比 GRPO，GSPO 训练效率在 Qwen3 上更高。

5.2 clip 比例上的观察

GSPO 会 clip 整个 response 的 tokens，而 GRPO 则 clip 一些 over off-policy 的 tokens。 统计训练中两种实验的 clip 比例，得到下图：

GSPO clip 掉更多的 tokens，但是却拥有更高的训练效率，这说明 GSPO 可能提供比 GRPO 更可靠且高效的学习信号。

5.3 MoE 训练中效果

背景. MoE 模型的训练中，使用 GRPO 算法，专家激活的不稳定性可能会导致强化学习训练无法正常收敛，进行一次梯度更新后，即使对于相同的 response，所激活的专家也可能发生显著变化。这一不稳定要素，导致 token 级别的重要性权重波动更大，从而如之前讨论的，最后导致模型崩溃。

先前的方法. 使用 Routing Replay 策略，训练时，存储   被激活的专家有哪些，当计算重要性权重   时，在   重新 replay 之前存储的路由的策略。这种情况下，则能确保对于每个   ，重要性权重的分子分母使用同样的激活网络进行计算。下图展示这一策略带来的好处：

GSPO 的效果. 但是上述启发式策略，存在额外的内存和通信开销，也会限制 MoE 模型的实际知识容量。实验上，可以看到 GSPO 比 GRPO + routing replay 策略效率更高，且训练稳定；从理论上来说，MoE 模型仍然保留语言模型的能力，sequence 的似然比起单个 token 的似然在 MoE 模型的输出中更加稳定。

参考

[1]Team Qwen. Qwen3technical report. arXiv preprint arXiv:2505.09388, 2025a.
[2] MiniMax. Minimax-m1: Scaling test-time compute efficiently with lightning attention. arXiv pr

编辑：文婧

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU