Hugging Face发布SWEeper-Bench：革新智能体软件交互缺陷检测基准

摘要：Hugging Face推出SWEeper-Bench，这是一套包含200项任务的智能体软件交互缺陷检测基准测试平台，旨在评估智能体在多步骤交互场景中识别和修复软件缺陷的能力。该基准测试基于200个开源Web应用的真实修复案例，要求智能体通过交互式测试发现并修复问题。实验表明，最先进的智能体仅能通过59.0%的任务，揭示了当前智能体在交互依赖型故障检测中的瓶颈。SWEeper-Bench为智能体在动态软件开发和交互式测试中的能力提升提供了重要基准。

---

背景与挑战

随着智能体与用户交互方式的转变，生成交互式软件逐渐取代传统的文本回复。然而，许多软件缺陷只有在多步骤交互后才能显现，用户需要主动发现并等待修复，这使得开发周期变得缓慢且昂贵。现有的基准测试通常假设缺陷已被识别，智能体在交互依赖型故障检测方面的能力尚未得到充分评估。

SWEeper-Bench的创新

Hugging Face推出的SWEeper-Bench包含200项任务，这些任务基于200个广泛使用的开源Web应用的真实修复案例。每个任务仅提供代码库和开放式请求，例如“查找并修复Focalboard的看板共享和成员资格问题”。由于这些缺陷难以仅从代码中检测，智能体必须设计交互式测试来发现它们。

技术机制与评估

SWEeper-Bench采用了一种名为“代理验证器”的机制，通过模拟用户在浏览器中的观察结果来评估每个修复的有效性。在15个前沿智能体的测试中，表现最好的智能体仅通过了59.0%的任务。

通过逐阶段分析智能体的轨迹，研究发现最大的瓶颈在于识别缺陷行为：智能体通常能够到达相关功能，但未能触发故障或未能识别故障。

工程权衡与实际应用

SWEeper-Bench的设计强调了交互式测试的重要性，这对智能体在动态环境中的适应能力提出了更高要求。其主要挑战在于：

1. 交互复杂性：智能体需要处理多步骤的交互逻辑，这对规划和推理能力提出了挑战。
2. 故障多样性：不同类型的软件缺陷需要不同的检测策略，这对智能体的泛化能力提出了考验。
3. 效率与准确性权衡：在保证检测准确性的同时，智能体还需在合理的时间内完成任务，这对资源分配和优化提出了要求。

开发者建议

对于开发者而言，SWEeper-Bench提供了一个评估和改进智能体在交互式软件缺陷检测中能力的平台。建议开发者：

1. 关注交互式测试设计：设计更有效的测试用例以覆盖更多潜在的缺陷场景。
2. 强化故障识别能力：通过强化学习和数据增强技术，提升智能体在复杂交互场景中识别故障的能力。
3. 优化资源分配：在保证检测准确性的前提下，优化智能体的资源使用效率，以实现更高效的缺陷检测。

结论

SWEeper-Bench为智能体在动态软件开发和交互式测试中的能力提升提供了重要基准，推动了智能体在软件工程领域的应用和发展。

---

消息来源：Hugging Face Daily Papers (2026-10-08)

—— 完 ——

主题标签： #Hugging Face 关注 #智能体 关注 #软件缺陷检测 关注 #交互式测试 关注 #AI基准测试 关注