Hugging Face发布SWE-Duel：构建自扩展编程智能体竞技场

摘要：Hugging Face推出SWE-Duel，这是一款用于编程智能体竞技的自扩展基准测试平台。与传统静态编程基准不同，SWE-Duel通过动态生成任务和评估标准，避免了任务泄露和饱和问题。竞技场采用红蓝双方交替编程和审查机制，模拟真实开发环境中的协作与竞争。实验表明，SWE-Duel能够有效区分不同智能体的能力，并为编程智能体的训练和评估提供了更贴近实际应用场景的解决方案。

---

1. 背景与动机

传统的编程基准测试平台通常在发布时固定任务集，这导致随着时间推移，这些任务会泄露到训练数据中，智能体最终会饱和这些任务。为解决这一问题，SWE-Duel提出了一种自扩展的竞技场机制，通过动态生成任务和评估标准，避免了任务泄露和饱和问题。

2. SWE-Duel机制详解

SWE-Duel的核心机制包括：

• 红蓝双方交替编程与审查：在每个回合中，红色智能体在一个真实的代码库上工作，提出并实现一个新功能，同时嵌入一个微妙的bug。蓝色智能体随后审查该拉取请求（PR），如果其修订版本通过了所有测试套件，则蓝色智能体获胜，然后双方交换角色。

• 任务生成与评估：每个任务在评估时动态生成，确保没有预先存在的内容泄露。任务的难度由参与智能体的能力决定，而非固定在发布时。

• 无解任务排除机制：通过要求智能体在盲修bug时能够修复问题，排除无法解决的问题，确保竞技的公平性。

3. 实验与结果

SWE-Duel在15个代码库上进行了1500次回合的锦标赛，参与者包括11个模型驱动的智能体。实验结果表明：

• GPT-5.5 with Codex CLI 在修复缺陷方面表现最佳，修复了98.3%的缺陷。

• Claude Opus 4.8 with mini-swe-agent 在任务创作方面表现最佳，红方胜率为27.3%。

• 模型版本差异：新版本的任务创作能力显著优于旧版本（42.9% vs. 4.0%），初步证明了任务难度与任务创作能力成正比。

4. 技术权衡与工程挑战

SWE-Duel的设计面临以下挑战：

• 任务生成与评估的复杂性：动态生成任务需要复杂的逻辑和评估标准，这增加了系统的复杂性。

• 智能体交互的公平性：确保红蓝双方在交替编程和审查过程中保持公平性是一个关键挑战。

• 无解任务的排除：需要精确的机制来识别和排除无法解决的问题，以避免对智能体造成不合理的压力。

5. 开发者落地与部署建议

SWE-Duel为编程智能体的训练和评估提供了新的思路。开发者可以：

• 利用SWE-Duel进行智能体能力评估：通过动态生成的任务和评估标准，更准确地评估智能体的编程能力。

• 构建自扩展的编程基准：借鉴SWE-Duel的机制，构建适合自身需求的编程基准平台。

• 关注智能体交互机制的设计：SWE-Duel的交替编程和审查机制为智能体之间的协作与竞争提供了新的视角。

6. 未来展望

SWE-Duel展示了自扩展编程基准的潜力，未来可以进一步扩展到更多编程语言和复杂任务中。此外，结合强化学习和多智能体协作机制，SWE-Duel有望成为编程智能体训练和评估的重要工具。

---

消息来源：Hugging Face Daily Papers (2026-10-08)

—— 完 ——

主题标签： #Hugging Face 关注 #SWE-Duel 关注 #编程智能体 关注 #自扩展基准 关注 #多智能体竞技 关注