IBM发布DRACO:基于动态评分的长时智能体训练新方法
摘要:IBM提出了一种名为DRACO(Distributing Rubric-based Advantage for Credit Optimization)的新方法,用于长时智能体训练。该方法通过在训练过程中动态生成评分标准,并在完成轨迹后对其进行评分,再将评分结果分配到相关步骤中,从而在不使用验证器的情况下显著提升智能体的训练效果。在AppWorld和Tau-Bench基准测试中,DRACO相较于基线模型和稀疏奖励训练的GRPO方法均表现出色,分别提升了15.9分和5.3分。DRACO的代码已在GitHub上开源,为长时智能体训练提供了新的技术路径。
核心突破
IBM的研究团队开发了一种名为DRACO(Distributing Rubric-based Advantage for Credit Optimization)的新方法,用于解决长时智能体训练中的关键挑战。该方法的核心创新点包括:
- 动态评分标准生成:在训练过程中,DRACO能够根据智能体的表现动态生成评分标准,从而更准确地反映智能体的能力变化。
- 细粒度优势分配:在完成一个轨迹后,DRACO对评分标准进行评分,并将评分结果分配到相关步骤中,使得智能体能够获得更细粒度的训练信号。
- 无需验证器:与传统的基于验证器的训练方法不同,DRACO完全依赖于动态生成的评分标准,无需额外的验证器,从而降低了训练成本。
技术亮点
- 动态评分:DRACO通过动态生成评分标准,能够更好地适应智能体在不同训练阶段的表现变化。
- 细粒度优势分配:将评分结果分配到相关步骤中,使得智能体能够获得更精确的训练信号,从而提升训练效果。
- 无需验证器:DRACO的设计使其能够在不使用验证器的情况下实现高效的训练,降低了训练成本和复杂性。
行业影响
DRACO的发布为长时智能体训练提供了一种新的技术路径,特别是在那些难以获得明确成功信号的任务中具有重要意义。其无需验证器的特性使其在资源受限的环境中更具实用性。此外,DRACO的开源代码为研究人员和开发者提供了一个强大的工具,促进了智能体训练技术的进一步发展。
开发者建议
- 尝试DRACO:研究人员和开发者在进行长时智能体训练时,可以尝试使用DRACO,以提升训练效果。
- 优化评分标准:根据具体任务的特点,进一步优化DRACO的评分标准生成机制,以获得更好的训练效果。
- 探索应用场景:探索DRACO在不同应用场景中的潜力,如机器人控制、自动驾驶等。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-03)
主题标签: #DRACO #智能体训练 #IBM #长时智能体 #动态评分
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区