ArXiv提出PROOF-Gen:利用失败生成优化工具调用模型训练
摘要:ArXiv团队提出了一种名为PROOF-Gen(Per-scenario Reflective Optimization to Overcome Failed Generation)的新方法,用于优化工具调用模型的训练过程。该方法通过分析失败任务的执行轨迹和评估反馈,生成纠正指导以引导教师模型生成成功的轨迹,从而显著提高了训练数据的质量。在τ2-bench基准测试中,PROOF-Gen恢复了93%的失败场景,并使Qwen3-4B-Instruct-2507和Gemma 4 E4B-it等模型在多个指标上实现了显著提升。此外,该方法在部署的管道中表现出色,显著提升了目标完成率和响应质量。
背景与挑战
在将工具调用能力蒸馏到可部署模型的过程中,监督微调是标准的第一步。然而,现有的后训练管道通常采用“生成-过滤”机制,即保留教师模型通过的轨迹,丢弃失败的轨迹。这种方法存在一个关键问题:失败的轨迹无法提供有效的学习信号,导致相同的问题在每个训练周期中反复出现。在τ2-bench基准测试中,57%的教师模型尝试失败,其中三分之二是接近成功的案例(大多数工具调用正确,但因一个决定性错误而失败)。
PROOF-Gen方法
为了解决上述问题,ArXiv团队提出了PROOF-Gen方法,其核心思想是通过场景级的提示优化从失败中恢复黄金轨迹。具体步骤如下:
- 反射分析:对于每个失败的任务,反射器分析执行轨迹和评估反馈。
- 生成纠正指导:反射器编写纠正指导,以引导教师模型生成成功的轨迹。
- 训练数据优化:在训练之前,去除纠正指导,学生模型从干净的演示中学习,没有特定任务的支架。
实验结果
在τ2-bench基准测试中,PROOF-Gen恢复了93%的失败场景。在合并数据上进行微调后,Qwen3-4B-Instruct-2507的Pass^1指标从0.132提升至0.529,Gemma 4 E4B-it在BFCL v4多轮任务中提升了7.2个百分点。在部署的管道中,该方法将目标完成率提高了6.3个百分点,并转移到设备上的模型中,跨响应质量指标提升了1.7到5.0个百分点,在所有地区均表现出正向迁移(平均提升1.48个百分点)。
行业影响与开发者建议
PROOF-Gen为工具调用模型的训练提供了一种创新的优化方法,具有以下优势:
- 数据质量提升:通过从失败中恢复黄金轨迹,显著提高了训练数据的质量。
- 模型性能增强:在多个指标上实现了显著提升,适用于各种规模的模型。
- 部署效率:在部署的管道中表现出色,显著提升了目标完成率和响应质量。
开发者可以尝试将PROOF-Gen集成到现有的训练管道中,以优化工具调用模型的训练过程。此外,研究人员可以进一步探索该方法在不同任务和模型架构上的适用性。
—— 完 ——消息来源:ArXiv cs.AI (2026-08-24)
主题标签: #ArXiv #PROOF-Gen #工具调用 #模型训练优化 #强化学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区