SWE-bench
SWE-bench(Software Engineering Benchmark) 是当前最权威的代码工程能力评测: 让模型修复真实 GitHub 项目里的 issue,提交 patch 后跑项目自带测试。
与 HumanEval 的区别
| 维度 | HumanEval | SWE-bench |
|---|---|---|
| 任务 | 补全独立函数 | 修复跨文件 issue |
| 上下文 | 函数签名 + docstring | 整个仓库 |
| 评估 | 单测通过 | 完整测试套件 |
| 真实度 | 教学题 | 真实生产代码 |
数据集
- SWE-bench:2,294 个真实 Python issue,来自 12 个开源项目(Django、scikit-learn、matplotlib、astropy、pylint 等)。
- SWE-bench Verified:500 个经人审过的子集(OpenAI 2024 发布),更可靠。
主流模型分数(2025)
| 模型 | SWE-bench Verified |
|---|---|
| Claude 4 Opus | ~72% |
| GPT-5 | ~65% |
| Claude 3.5 Sonnet | ~50% |
| DeepSeek V3 | ~42% |
为什么是 Agent 试金石
SWE-bench 不是一个"补全函数"的题,而是:
- 理解 issue 描述(自然语言)
- 在仓库里定位相关代码
- 修改多个文件
- 写新测试
- 确保原有测试还过
完整模拟了人类工程师一天的工作。所以它是 Agent 代码能力的金标准。
实战建议
如果你的项目要做"AI 自动修 bug / 自动 PR",SWE-bench Verified 分数是比 HumanEval 远更可靠的参考。