跳到主内容
智客 ZICQ

智客百科 技术术语

SWE-bench

技术术语
别名: SWE-bench SWE-bench Verified ·2026-09-14

SWE-bench

SWE-bench(Software Engineering Benchmark) 是当前最权威的代码工程能力评测: 让模型修复真实 GitHub 项目里的 issue,提交 patch 后跑项目自带测试。

与 HumanEval 的区别

维度 HumanEval SWE-bench
任务 补全独立函数 修复跨文件 issue
上下文 函数签名 + docstring 整个仓库
评估 单测通过 完整测试套件
真实度 教学题 真实生产代码

数据集

  • SWE-bench:2,294 个真实 Python issue,来自 12 个开源项目(Django、scikit-learn、matplotlib、astropy、pylint 等)。
  • SWE-bench Verified:500 个经人审过的子集(OpenAI 2024 发布),更可靠。

主流模型分数(2025)

模型 SWE-bench Verified
Claude 4 Opus ~72%
GPT-5 ~65%
Claude 3.5 Sonnet ~50%
DeepSeek V3 ~42%

为什么是 Agent 试金石

SWE-bench 不是一个"补全函数"的题,而是:

  • 理解 issue 描述(自然语言)
  • 在仓库里定位相关代码
  • 修改多个文件
  • 写新测试
  • 确保原有测试还过

完整模拟了人类工程师一天的工作。所以它是 Agent 代码能力的金标准。

实战建议

如果你的项目要做"AI 自动修 bug / 自动 PR",SWE-bench Verified 分数是比 HumanEval 远更可靠的参考。