HKUST-KnowComp发布CorrGRPO：改进多奖励学习中的归一化机制

摘要：HKUST-KnowComp团队提出了一种名为CorrGRPO（Correlation-Normalized Group Relative Policy Optimization）的新方法，用于改进多奖励学习中的归一化机制。传统GRPO方法在处理多奖励时容易受到大尺度相关奖励的干扰，而CorrGRPO通过将成对协方差归一化为皮尔逊相关系数，保持了总奖励的中心化，同时平衡了不同尺度奖励对基于相关性的归一化的影响。实验结果表明，CorrGRPO在代码生成、工具调用和智能体安全三个领域均表现出显著改进。

---

CorrGRPO：改进多奖励学习中的归一化机制

背景

Group Relative Policy Optimization（GRPO）是一种广泛用于训练推理语言模型的方法，通过对相同提示的多次执行进行奖励中心化和归一化来计算优势。然而，当处理多奖励时，GRPO容易受到大尺度相关奖励的干扰，从而抑制小尺度奖励的信号。

CorrGRPO的创新

CorrGRPO通过将成对协方差归一化为皮尔逊相关系数，解决了传统GRPO的局限性。其主要特点包括：

• 保持总奖励的中心化：CorrGRPO在归一化过程中保持总奖励的中心化不变。
• 平衡不同尺度奖励的影响：通过将协方差转换为相关系数，CorrGRPO平衡了不同尺度奖励对归一化的影响，避免了大尺度奖励的过度影响。

实验与结果

研究团队在代码生成、工具调用和智能体安全三个领域进行了实验，模型参数范围从0.5B到8B。实验结果表明，CorrGRPO在以下方面表现出显著改进：

• 代码生成：提高了生成代码的质量和效率。
• 工具调用：增强了智能体在调用工具时的准确性和可靠性。
• 智能体安全：提升了智能体在安全关键任务中的表现。

结论

CorrGRPO为多奖励学习提供了一种更有效的归一化方法，能够更好地处理不同尺度和相关性的奖励信号。该方法在多个领域展示了其优越性，为AI模型的训练和优化提供了新的思路。

开发者建议

• 应用场景：适用于需要处理多奖励信号的复杂任务，如机器人控制、自动化决策等。
• 模型选择：建议在资源允许的情况下，选择参数规模较大的模型以获得最佳性能。
• 开源代码：研究团队已开源CorrGRPO的代码，开发者可以访问 GitHub 进行进一步学习和应用。

---

消息来源：Hugging Face Daily Papers (2026-09-29)

—— 完 ——

主题标签： #多奖励学习 关注 #归一化机制 关注 #HKUST-KnowComp 关注 #强化学习 关注 #AI模型优化 关注