Hugging Face发布DeltaTTG：革新多轮智能体强化学习训练方法

摘要：Hugging Face推出了一种名为DeltaTTG的新型强化学习方法，旨在解决多轮智能体训练中稀疏终端奖励带来的挑战。DeltaTTG通过共享进度表学习可重用的进度信号，并使用低成本监督数据优化训练过程。在ALFWorld、PaperSearchQA和BFCLv3等任务上，DeltaTTG相较于现有方法GRPO在平均得分上分别提升了5.7和7.2个百分点，同时保持了与GRPO相近的训练成本。进一步实验表明，DeltaTTG在样本效率和跨领域性能方面均有显著提升。

---

技术机制剖析

DeltaTTG的核心创新在于引入了Token-to-Go (TTG) 作为进度信号，这是一种通过共享进度表学习的可重用指标。TTG表示完成任务所需的剩余token数量，作为任务完成努力的代理指标。在训练过程中，DeltaTTG通过冻结的进度表估计值重新分配结果衍生的优势，而不影响奖励本身，从而保持每个轨迹的优势符号和token平均规模。这种方法在多轮智能体训练中具有以下优势：

1. 进度信号的可重用性：TTG作为进度信号，可以在不同任务和策略之间重用，减少了对特定任务规则或外部评估器的依赖。
2. 低成本监督：DeltaTTG利用多样化的策略轨迹进行监督，无需昂贵的外部评估或人工标注。
3. 优势重分配机制：通过冻结进度表的估计值，DeltaTTG能够在不影响奖励的情况下重新分配优势，从而优化训练过程。

工程权衡与实测表现

在ALFWorld、PaperSearchQA和BFCLv3等任务上的实验表明，DeltaTTG在平均得分上相较于GRPO分别提升了5.7和7.2个百分点，同时保持了与GRPO相近的GPU训练小时数。这表明DeltaTTG在提升性能的同时，并未显著增加训练成本。

此外，DeltaTTG在样本效率和跨领域性能方面也表现出色。实验结果显示，DeltaTTG能够更有效地利用训练样本，并在不同领域任务中保持较高的性能。这表明该方法具有较强的泛化能力和鲁棒性。

开发者落地与部署建议

对于开发者而言，DeltaTTG提供了一种高效的多轮智能体训练方法，具有以下优势：

1. 易于集成：DeltaTTG可以与现有的强化学习框架无缝集成，无需对现有系统进行大规模修改。
2. 资源高效：由于TTG的共享特性，DeltaTTG在训练过程中对计算资源的需求较低，适合资源受限的环境。
3. 灵活性强：TTG作为进度信号，可以根据具体任务需求进行定制，从而提升训练效果。

开发者可以参考Hugging Face提供的开源代码（https://github.com/Xuyan923r/DeltaTTG）进行快速部署和测试。

结论

DeltaTTG通过引入TTG作为进度信号，革新了多轮智能体强化学习的训练方法。其在多个基准任务上的优异表现，展示了该方法在提升智能体训练效率和性能方面的巨大潜力。

---

消息来源：Hugging Face Daily Papers (2026-10-13)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #智能体训练 关注 #DeltaTTG 关注