BuggyMLE用复杂度索引生成高难仓库级MLE基准
摘要:BuggyMLE 论文把机器学习工程智能体评测从单文件修改推进到可操作完整仓库的环境。作者以仓库规模、依赖深度和补丁规模等十项结构特征构建代码复杂度指数 CCI,在八个公开编码基准上对平均解题率取得 R²=0.951,并据此从 222 个机器学习仓库合成 6,600 余个故障变体、约 26 万行注入代码。分级版 BuggyMLE-Bench-Lite 让 14 个模型中的最佳解题率由最易档 95% 降至最难档 9%;再以 200 个仓库的三档课程微调 Qwen3.5-9B,模型在 SWE-bench Lite 与 LiveCodeBench v6 上也获得迁移收益。该工作提供了可持续扩容的难度基准,但合成故障真实性、污染控制、完整方差与代码开放度仍待核验。
核心结论
BuggyMLE 将机器学习工程智能体的核心任务从修改单个代码片段,扩展到在完整代码仓库中复现实验、调试训练、接入数据和迁移框架。其关键产物不是新模型架构,而是一套可扩展的故障合成流程、代码复杂度指数 CCI,以及按难度分级的仓库级基准 BuggyMLE-Bench-Lite。
| 组件 | 已知规模 | 作用 | |---|---:|---| | CCI | 十项结构特征 | 预测仓库任务的平均解题率 | | BuggyMLE 生成器 | 222 个源仓库 | 向可用仓库注入受控故障 | | 合成任务集 | 6,600 余个变体、近 26 万行注入代码 | 提供可扩容的机器学习工程任务池 | | BuggyMLE-Bench-Lite | 三个难度档 | 检验多文件修改、环境操作与调试能力 | | 训练课程 | 200 个额外仓库、三个难度层级 | 通过课程微调 Qwen3.5-9B |
技术机制:用结构复杂度标定仓库任务
现有 MLE-Bench Lite 一类评测通常把修改限制在单文件,且不提供完整仓库或 shell 访问。这降低了环境搭建成本,却也绕开了真实机器学习工程中最难的部分:理解项目结构、定位跨文件依赖、执行训练命令、读取日志并验证修改是否破坏其他模块。BuggyMLE 试图让任务重新覆盖这一完整执行面。
CCI 可以抽象为 CCI = f(x₁,...,x₁₀),十项输入覆盖仓库规模、依赖深度和补丁规模等维度。依赖越深,代理需要检索和理解的跨模块接口越多;补丁越大,修改涉及的文件、配置和副作用通常也越多。论文报告,CCI 对八个公开编码基准平均解题率的预测达到 R²=0.951,其中补丁规模和复杂度是最强预测项。
这一结果说明,仓库级任务并非只有“大小”一个难度轴。代码行数相同的两个仓库,可能因依赖图、构建链和测试入口不同而具有完全不同的代理求解成本。CCI 若经过更多模型、仓库类型和工具配置校准,可用于任务分层、能力诊断、课程采样以及按难度路由不同成本的模型。
不过,摘要没有披露十项特征的逐项定义、归一化方式、回归器结构和系数。高 R² 也主要表示预测相关性,而非因果关系;补丁规模可能只是代理了任务复杂度和基准泄漏程度。因而 CCI 更适合作为经验型难度坐标,而不是跨基准通用、不可解释的绝对标尺。
从可用仓库合成故障任务
BuggyMLE 的生成思路避开了等待真实项目自然积累高质量故障的瓶颈。工程链路可拆为四步:选择具有完整构建和测试流程的机器学习仓库;选择与特定功能相关的注入点;生成不破坏仓库基本可执行性的受控变更;再通过构建、单元测试和任务检查器筛选有效实例。
这种方法的优势是难度可以按需扩展,而且每个变体都附带可执行环境和基准答案。代价是注入故障的分布可能不同于生产事故:语法错误通常容易定位,配置漂移、隐式状态耦合、分布式训练不稳定和跨版本框架兼容问题则更接近真实 MLE,却更难自动生成。如果变异算子持续产生固定模式,智能体可能学习到识别注入痕迹,而不是形成通用的根因分析能力。
因此,生成器是否混入真实 issue、是否按故障类型分层,以及构建与测试检查器会不会泄露根因,是决定基准有效性的关键。摘要给出的规模和注入代码量证明了可扩展性,却没有证明这些合成分布与真实仓库缺陷在统计上同分布。
基准难度与模型迁移结果
在 BuggyMLE-Bench-Lite 上,论文评测了 14 个模型。各难度档中的最佳解题率从最易档的 95% 降至最难档的 9%,相差 86 个百分点,显著削弱了单文件或浅层仓库任务带来的分数饱和。这个梯度也说明完整仓库访问、shell 操作和多文件调试确实会暴露模型在持续规划、工具使用和错误恢复上的差距。
不过,95% 到 9% 是不同难度档的最佳成绩,不等同于同一个模型在所有档位上的纵向衰减。摘要未提供 14 个模型的完整矩阵、每档置信区间、运行时预算和失败分类,因而无法判断下降究竟来自代码推理、仓库导航、依赖安装、训练执行超时,还是智能体脚手架差异。
研究又使用 200 个额外机器学习仓库构造三个难度层级的训练课程,并微调一个以 Qwen3.5-9B 为底座的模型。该模型在 BuggyMLE-Bench-Lite 上达到论文所称的与前沿模型竞争的结果,同时向一般软件工程迁移:SWE-bench Lite 解决率从 24% 提升至 33%,LiveCodeBench v6 的 pass@1 从 69% 提升至 71%。前者增加 9 个百分点,说明仓库级训练可能改善跨文件调试与工具协作;后者仅增加 2 个百分点,且摘要没有给出随机种子方差、训练算力及同等数据量的继续预训练基线,因此不能把全部增益归因于故障注入课程。
工程权衡与评测风险
- 可控性与真实性冲突:程序化变异可以稳定覆盖难度和故障类型,但合成缺陷可能具有人工痕迹;真实 issue 更自然,却难以复现和标注。
- 污染风险更高:源仓库、测试和训练课程都来自公开代码。若仓库或补丁在预训练数据中已出现,模型可能凭记忆定位答案,而非执行仓库分析。
- 环境成本不可忽视:6,600 个任务变体并不意味着只需复制少量文本。依赖下载、容器镜像、GPU 调度和缓存都会放大评测成本,失败还可能来自环境漂移而非代码能力。
- 工具预算会混淆难度:shell、网络和超时设置不同,可以单独改变解题率。评测必须固定工具集合、上下文预算、命令超时和重试策略。
- CCI 仍需外部验证:高 R² 可能由补丁规模等粗粒度变量主导。应在不同模型、仓库类型及未见基准上进行交叉验证,并报告分任务预测误差。
- 微调收益需要消融:除以 Qwen3.5-9B 的原始成绩外,还需比较通用代码语料、等量真实 issue、等量普通软件修复数据以及不使用课程学习的对照组。
开发者落地与部署建议
- 构建隔离的仓库执行器:每个任务使用独立容器或微虚拟机,提供可写工作区、冻结依赖和固定测试命令;限制网络、CPU、GPU、内存与墙钟时间,并禁止代理修改评测器和隐藏测试。
- 记录完整轨迹:除最终解题率外,还应保存检索到的文件、执行的命令、测试失败类型、补丁回滚次数和 Token 消耗,才能区分推理失败与基础设施失败。
- 采用分层而非单点评分:先按 CCI 将任务分为容易、中等和困难层,再分别报告 pass@1、平均修复步数、成本和成功置信区间,避免一个总分掩盖长程执行崩溃。
- 执行严格去污染:对源仓库、补丁、测试文本和 issue 描述分别做时间切分与相似度检索;训练课程使用保留仓库,评测使用未见变异算子或真实缺陷。
- 保留真实故障比例:课程中混合合成 bug、真实 issue 和无故障任务,防止模型把所有失败都归因于可预测的注入模式;不同故障类型应分别报告成绩。
- 生产环境设置权限门禁:若把 BuggyMLE 思路用于真实 MLE 智能体,应将诊断、代码修改、数据写入和训练启动拆分授权,并对配置变更、数据覆盖及算力消耗设置人工审批或策略门禁。
结论
BuggyMLE 的核心价值是把逐渐饱和的仓库级代码评测改造成可按复杂度扩容的研究基础设施。CCI、故障合成器、分级基准与课程训练形成了完整闭环,但当前证据仍主要来自 arXiv v1 摘要。只有在合成故障真实度、去污染、完整成绩分布和代码可复现性得到独立验证后,这套基准才适合作为模型能力排名的强依据。
—— 完 ——消息来源:ArXiv AI (cs.AI) (2026-11-20)
主题标签: #BuggyMLE #MLE智能体 #仓库级代码智能体 #代码复杂度指数 #Qwen3.5-9B
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区