智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #AI编码智能体 #代码重构 #多语言支持 #基准测试

Hugging Face发布SWE-Bench ProMax:多语言代码重构基准测试平台

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face推出SWE-Bench ProMax,这是一款针对AI编码智能体的多语言代码重构基准测试平台,旨在解决现有基准测试中常见的问题,如测试用例质量不足和模型对训练数据的过度依赖。该平台包含170个实例,覆盖Python、Java等七种编程语言,测试任务平均涉及11.4个文件修改和261.6行代码,显著提升了任务复杂度和规模。实验表明,当前最优秀的AI模型在SWE-Bench ProMax上的解决率仅为41.2%,表明该平台对现有AI编码智能体提出了更高的挑战。


Hugging Face发布SWE-Bench ProMax:多语言代码重构基准测试平台

随着AI编码智能体在处理复杂、长周期的软件工程任务方面取得进展,现有基准测试平台逐渐暴露出测试用例质量不足、模型对训练数据过度依赖等问题。近期的一项审计发现,近60%的未解决SWE-bench Verified实例包含有缺陷的测试用例,这些测试用例要么过于狭窄,拒绝了正确的解决方案,要么过于宽泛,检查了未声明的需求。

为了应对这些挑战,Hugging Face推出了SWE-Bench ProMax,这是一款专家策划的多语言代码重构基准测试平台,包含170个实例,涵盖Python、Java、TypeScript、Go、C、C++和Rust七种编程语言。每个实例都经过多阶段的严格审核,解决了现有基准测试中的质量问题:问题描述被重新编写以提供精确、无歧义的规范,测试套件经过手动审查以去除过于狭窄和过于宽泛的测试。

主要技术亮点

  • 多语言支持:涵盖七种主流编程语言,为跨语言代码重构提供统一基准。
  • 高质量测试用例:所有测试用例均经过专家审核,确保其准确性和有效性。
  • 大规模任务:平均每个实例涉及11.4个文件修改和261.6行代码,显著提升了任务复杂度和规模。
  • 挑战性任务设计:过滤掉复杂度不足或跨文件范围有限的任务,确保基准测试的挑战性。

实验结果与行业影响

在两种智能体框架下对前沿模型进行的实验表明,最优秀的模型在SWE-Bench ProMax上的解决率仅为41.2%,这表明当前AI编码智能体在处理复杂代码重构任务时仍面临巨大挑战。SWE-Bench ProMax的发布不仅为AI编码智能体的评估提供了更可靠的基准,还推动了AI在软件工程领域的进一步发展。

对开发者的建议

  • 利用SWE-Bench ProMax进行模型评估:开发者可以使用该平台对AI编码智能体进行更全面的评估,发现模型在处理复杂代码重构任务时的不足。
  • 关注多语言代码重构技术:随着多语言支持的重要性日益增加,开发者应关注相关技术的进展,并尝试在项目中应用这些技术。

结论

SWE-Bench ProMax的发布标志着AI编码智能体基准测试的一个重要里程碑。它不仅解决了现有基准测试中的诸多问题,还为AI在软件工程领域的应用提供了新的挑战和机遇。

原文链接

Hugging Face发布SWE-Bench ProMax

—— 完 ——

主题标签: #Hugging Face #AI编码智能体 #代码重构 #多语言支持 #基准测试

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…