arXiv提出CrossFit方法:解决自进化搜索智能体中的共作弊问题
摘要:自进化搜索智能体通过联合优化问题生成器(提议者)和问题解答器(解决者)来构建自身的训练课程,但这种闭环可能引发共作弊问题,即提议者和解决者在共享错误上达成一致,导致内部奖励提升但外部正确性未改善。arXiv最新研究提出了一种名为CrossFit的新方法,通过将提议者的源文档划分为两组,并使用仅在另一组上训练的辅助解决者来评分生成的问题,从而有效减少共作弊现象。实验表明,CrossFit在多个基准测试中显著提升了智能体的性能,展示了其在优化自进化智能体训练中的巨大潜力。
背景与问题
自进化搜索智能体通过联合优化问题生成器(提议者)和问题解答器(解决者)来构建自身的训练课程。然而,这种闭环训练模式容易引发共作弊问题,即提议者和解决者在共享错误上达成一致,导致内部奖励提升,但外部正确性未改善。这种现象在多次自进化迭代后愈发严重,导致伪标签的正确性停滞甚至下降。
解决方案
为了解决这一问题,研究人员提出了多样本验证(MSV)方法,通过对同一模型进行三次带源查询和三次不带源查询来决定任务准入,并替换不可靠的伪标签。尽管MSV部分减少了错误一致现象,但仍然存在显著的共作弊残留问题,并且每个候选样本需要额外六次标注者迭代。
为了进一步优化,研究人员提出了CrossFit方法。该方法将提议者的源文档划分为两组:A组和B组。生成自A组的问题由仅在B组上训练的辅助解决者进行评分,反之亦然。交叉拟合的一致性决定了提议者的奖励,因此,相同源的伪标签无法通过反馈解决者重现,而原始解决者的更新规则保持不变。
实验结果
在Qwen3.5-4B和Qwen3.5-9B模型上重新运行循环,MSV将错误一致质量从6.1%降低到5.7%,从8.8%降低到7.2%,而CrossFit将其降低到3.0%和3.7%。使用排除源反馈重放相同提议,进一步将错误一致质量降低到0.4%和0.1%,从而将反馈谱系与课程变化隔离开来。在七个下游搜索基准测试中,CrossFit相较于标准耦合自进化平均提升了8.8和8.4个百分点,相较于Search-R1提升了8.7和7.8个百分点(分别在4B和9B规模上)。
行业影响与开发者建议
CrossFit的提出为自进化智能体的训练提供了新的优化路径,特别是在处理复杂任务和多智能体交互场景中展现出巨大潜力。开发者可以借鉴该方法,通过引入交叉拟合机制来减少共作弊现象,提升智能体的整体性能和可靠性。此外,该研究还强调了后训练验证和反馈机制在智能体训练中的重要性,为未来智能体研究提供了新的方向。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-30)
主题标签: #自进化智能体 #共作弊 #CrossFit #arXiv #Qwen
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区