智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #ArXiv #PROOF-Gen #工具调用 #模型训练优化 #强化学习

ArXiv提出PROOF-Gen:利用失败生成优化工具调用模型训练

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 2 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为PROOF-Gen(Per-scenario Reflective Optimization to Overcome Failed Generation)的新方法,用于优化工具调用模型的训练过程。该方法通过分析失败任务的执行轨迹和评估反馈,生成纠正指导以引导教师模型生成成功的轨迹,从而显著提高了训练数据的质量。在τ2-bench基准测试中,PROOF-Gen恢复了93%的失败场景,并使Qwen3-4B-Instruct-2507和Gemma 4 E4B-it等模型在多个指标上实现了显著提升。此外,该方法在部署的管道中表现出色,显著提升了目标完成率和响应质量。


背景与挑战

在将工具调用能力蒸馏到可部署模型的过程中,监督微调是标准的第一步。然而,现有的后训练管道通常采用“生成-过滤”机制,即保留教师模型通过的轨迹,丢弃失败的轨迹。这种方法存在一个关键问题:失败的轨迹无法提供有效的学习信号,导致相同的问题在每个训练周期中反复出现。在τ2-bench基准测试中,57%的教师模型尝试失败,其中三分之二是接近成功的案例(大多数工具调用正确,但因一个决定性错误而失败)。

PROOF-Gen方法

为了解决上述问题,ArXiv团队提出了PROOF-Gen方法,其核心思想是通过场景级的提示优化从失败中恢复黄金轨迹。具体步骤如下:

  1. 反射分析:对于每个失败的任务,反射器分析执行轨迹和评估反馈。
  2. 生成纠正指导:反射器编写纠正指导,以引导教师模型生成成功的轨迹。
  3. 训练数据优化:在训练之前,去除纠正指导,学生模型从干净的演示中学习,没有特定任务的支架。

实验结果

在τ2-bench基准测试中,PROOF-Gen恢复了93%的失败场景。在合并数据上进行微调后,Qwen3-4B-Instruct-2507的Pass^1指标从0.132提升至0.529,Gemma 4 E4B-it在BFCL v4多轮任务中提升了7.2个百分点。在部署的管道中,该方法将目标完成率提高了6.3个百分点,并转移到设备上的模型中,跨响应质量指标提升了1.7到5.0个百分点,在所有地区均表现出正向迁移(平均提升1.48个百分点)。

行业影响与开发者建议

PROOF-Gen为工具调用模型的训练提供了一种创新的优化方法,具有以下优势:

  • 数据质量提升:通过从失败中恢复黄金轨迹,显著提高了训练数据的质量。
  • 模型性能增强:在多个指标上实现了显著提升,适用于各种规模的模型。
  • 部署效率:在部署的管道中表现出色,显著提升了目标完成率和响应质量。

开发者可以尝试将PROOF-Gen集成到现有的训练管道中,以优化工具调用模型的训练过程。此外,研究人员可以进一步探索该方法在不同任务和模型架构上的适用性。


消息来源:ArXiv cs.AI (2026-08-24)

—— 完 ——

主题标签: #ArXiv #PROOF-Gen #工具调用 #模型训练优化 #强化学习

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…