arXiv发布SWE-Duel：构建自扩展编程智能体竞技场

摘要：arXiv推出SWE-Duel，这是一款用于编程智能体竞技的自扩展基准测试平台。与传统静态编程基准不同，SWE-Duel通过动态生成任务和评估标准，避免了任务泄露和饱和问题。竞技场采用红蓝双方交替编程和审查机制，模拟真实开发环境中的协作与竞争。实验表明，SWE-Duel能够有效区分不同智能体的能力，并为编程智能体的训练和评估提供了更贴近实际应用场景的解决方案。

---

核心机制与技术创新

SWE-Duel通过以下机制实现自扩展性：

1. 动态任务生成：任务和评估标准在评估时动态生成，避免了传统静态基准中任务泄露的问题。
2. 红蓝交替机制：红蓝双方交替进行编程和审查，模拟真实开发环境中的协作与竞争。
3. 多阶段评估：每个回合包括功能实现、错误注入、代码审查和错误修复四个阶段，确保评估的全面性和准确性。
4. 自修复机制：通过智能体自身修复错误的能力，验证任务的可行性和智能体的鲁棒性。

工程权衡与实测表现

• 优势：

  • 避免了任务泄露和饱和问题，提供了更持久的评估标准。
  • 模拟了真实开发环境中的复杂交互，提升了评估的真实性。
  • 通过多阶段评估，全面考察智能体的编程和审查能力。

• 挑战：

  • 动态任务生成增加了系统复杂性，需要高效的算法和资源支持。
  • 红蓝交替机制可能导致评估时间延长，需要优化流程以提高效率。

实验结果表明，SWE-Duel能够有效区分不同智能体的能力。例如，GPT-5.5在缺陷修复方面表现突出，修复了98.3%的缺陷；而Claude Opus 4.8在任务创作方面表现优异，红方胜率达到27.3%。此外，同一模型家族中，新版本的任务创作能力显著优于旧版本，证明了任务难度与创作能力正相关。

开发者落地与部署建议

1. 模型训练与评估：建议开发者使用SWE-Duel作为编程智能体训练和评估的基准平台，以获得更贴近实际应用场景的性能指标。
2. 任务设计：根据具体应用场景设计多样化的任务类型，确保智能体在不同情境下的适应性和鲁棒性。
3. 资源优化：针对动态任务生成和红蓝交替机制，优化系统资源分配，提高评估效率。

结论

SWE-Duel为编程智能体的训练和评估提供了创新的解决方案，展示了自扩展基准测试平台的巨大潜力。其动态任务生成和红蓝交替机制为AI研究社区提供了新的思路和方法。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-12)

—— 完 ——

主题标签： #SWE-Duel 关注 #编程智能体 关注 #自扩展基准测试 关注 #AI竞技场 关注