智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #CompoundingKernel #智能体搜索 #GPU内核优化 #SOL-ExecBench #NVIDIA B200

CompoundingKernel外部记忆搜索登顶SOL-ExecBench公开榜

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:CompoundingKernel把GPU内核优化改造成可验证的智能体搜索:智能体只读取PyTorch定义,不接触参考内核或官方分数;外部归档保存已验证内核及血缘,LLM控制器选择父代或新设计,并行子代理生成候选,模型外检查器裁定正确性。系统已为235道题产出站点验证内核,在SOL-ExecBench的209道公开题上较参考基线快4.40倍,L1、L2和量化榜暂列第一。其关键不是在线更新模型权重,而是把可靠测量、谱系复用与并行试验变成可积累的搜索资产;榜单口径、方差、跨硬件泛化及独立复现待核验。


核心机制:自我改进发生在模型之外

CompoundingKernel的“自改进”不是在线更新LLM权重,而是把通过外部验证的程序沉淀为下一轮搜索可读取的记忆。对每道题,智能体只得到PyTorch定义,拿不到参考kernel或官方分数。LLM控制器读取该题归档,选择一个父代内核继续修改,或提出新设计,再把一个明确方向交给并行子代理。候选经编译、运行后,由模型之外的检查器判定正确性;正确内核及其lineage被写回归档。

这套闭环可以拆成四步:

  1. 提出候选:LLM控制器读取归档,为每个子代理分配父代或新设计方向,生成GPU kernel实现。
  2. 外部判定:编译器和执行环境检查结果,不让模型自行判断程序是否正确。
  3. 保存谱系:所有通过检查的内核连同来源关系进入按题维护的归档,后续搜索可以复用。
  4. 迭代扩展:控制器继续选择父代或探索新路径,使搜索结果在任务内部累积,而不是每次从零生成。

从搜索算法角度看,这是一套由LLM负责提案、外部评测器充当fitness gate的进化式程序搜索。模型负责扩大候选空间,外部反馈决定哪些程序有资格进入下一轮。其“自改进”边界也因此十分清楚:系统沉淀的是已验证代码及谱系,并非经过梯度更新后获得新基础能力的模型权重;而且归档按题维护,论文尚未证明收益可以跨无关任务迁移。

搜索效率:瓶颈不是代理数量,而是可靠评测

在相同wall time下,CompoundingKernel与一个编码实现的UCB式搜索树对比,在38道题中的35道上胜出,并产生了2.4倍数量的正确尝试。这里的2.4倍指正确候选数量,而不是所有生成候选的数量,说明控制器的提案组织和归档复用可能比单纯扩大并行宽度更关键。

系统曾同时运行超过1000个代理,而一个warm restart修复便将评测速率提高3.6倍。作者由此得出更重要的工程结论:限制搜索扩展的主要因素是可靠测量速率,而不是名义上的代理数量。若评测器因编译失败、进程失联、数值误判或队列拥塞而失去稳定性,扩大代理规模只会制造更多待验证任务;错误放行还会污染归档,错误拒绝则会丢弃可用内核。

可用一个简化关系描述这一瓶颈:若可靠评测吞吐为R_reliable次每秒、单次试验占用评测器T_trial秒,则可持续并发规模近似为N_sustainable ≈ R_reliable × T_trial。当并发接近这一上限后,继续增加代理主要增加排队时延,而不是有效探索量。warm restart的价值也在这里:它修复的是评估服务的有效利用率,而不是提高LLM的生成速度。

实测表现与榜单边界

论文报告截至2026年11月11日:

  • 全部235道题均生成了通过站点验证的正确kernel。
  • 在其中209道公开榜问题上,生成内核相对benchmark参考基线快4.40倍。
  • SOL-ExecBench的L1、L2和Quantization公开榜均排名第一。
  • L1榜首自2026年10月27日起保持,仅在11月7日短暂失去领先位置。

这些结果证明搜索式智能体可以同时改善kernel正确性与执行性能,但还不能直接外推为通用GPU优化能力。搜索过程不读取参考kernel和官方分数,确实降低了直接读取榜单答案的泄漏风险;然而系统反复面向公开题试验,仍可能针对公开任务分布、特定算子或基准实现形成过拟合。站点验证解决的是正确性门槛,不等同于形式化证明,也不能证明在未见任务、不同CUDA版本或其他GPU上仍能保持相同加速比。

当前材料也未披露4.40倍采用何种聚合方式、参考基线的具体实现、编译时间是否计入、每题重复次数、绝对延迟与方差、搜索总token与GPU成本,以及控制器所用模型和完整验证协议。因此,榜单排名适合作为进一步复现的入口,而不应直接充当生产SLA。

工程权衡:搜索收益必须与系统成本分开核算

提案能力与评测能力并不等价。 更大的LLM可以生成更多样的融合、访存和数据布局方案,但GPU执行资源有限,所有候选最终都要经过编译、正确性检查和计时。验证队列一旦饱和,增加代理只会延长反馈周期。评估系统应按有效正确样本率调度,而不是按代理创建速率调度。

归档带来复利,也带来存储与检索成本。 每个正确程序都保留谱系后,系统能避免重复探索;但任务增加、迭代加深后,归档会同时带来元数据膨胀、父代选择误差和上下文拼装开销。生产实现需要保存不可变artifact hash、父子关系、环境版本和性能记录,而不能只保存一段可被覆盖的提示词或代码文本。

外部验证器是可信计算边界。 数值输出接近参考值并不足以证明kernel安全,还需覆盖越界访问、竞态、非法指令、非确定性和量化误差。对INT8、FP16或FP8等低精度任务,容差必须按数据类型、累加顺序和归约方式制定;普通输出比对通过后,仍应经过Compute Sanitizer等工具检查。验证器一旦误放行错误代码,错误就可能被后续搜索反复继承。

硬件专用优化与可移植性存在冲突。 报告结果来自NVIDIA B200,kernel可能依赖SM数量、共享内存容量、Tensor Core指令、warp调度或特定编译器行为。迁移到其他GPU时,搜索空间和最优设计都可能改变,不能直接复用归档中的性能结论。

并发收益伴随资源争用。 超过1000个代理并不等于超过1000张B200同时执行kernel,但代理、编译进程和评测任务仍会竞争CPU、内存、文件锁及GPU队列。warm restart后3.6倍的评测速率提升表明,worker生命周期管理、失败隔离和背压机制可能比增加模型副本更重要。

开发者落地:先把验证闭环做对

  1. 固定实验环境:记录GPU型号、驱动、CUDA、编译器、PyTorch版本、时钟策略、预热次数和缓存清理方式;同时报告纯kernel时间、编译时间及端到端搜索成本。
  2. 建立独立验证器:组合参考实现比对、容差分级、内存安全检查、超时隔离和确定性测试。验证器应运行在受限沙箱中,避免生成代码访问宿主文件、网络或无关进程。
  3. 保留未见任务集:将公开题仅用于开发,在独立算子、不同形状和不同数据类型上检验迁移,防止把公开榜优化误当成通用能力。
  4. 为每次试验建立可追溯记录:保存源码、编译产物、父代、随机种子、环境指纹、正确性结果和多次计时分布,使用中位数及尾延迟而非单次最好值。
  5. 先优化评测吞吐,再扩大代理数:为编译和执行队列设置背压,隔离超时worker,定期执行warm restart,并以每分钟可靠验证数作为扩容依据。
  6. 分开核算收益:评估应同时包含最终kernel性能、搜索成本、验证成本和人工审查成本。论文摘要称代码与内核已开放,但当前采集文本中的仓库地址被替换为占位符,采用前还需核验许可证、依赖、实验脚本与可复现性。

结论

CompoundingKernel最有价值的设计,是把经过验证的GPU代码变成模型之外的长期记忆,再由LLM控制器围绕这些谱系组织并行提案。它在SOL-ExecBench公开榜报告的4.40倍加速和35比38的同wall-time对比,说明“可靠评测加外部记忆”可能比单纯增加智能体数量更有效。真正需要验证的则是:这种复利能否跨越公开题分布、编译器和GPU架构,以及完整搜索成本是否仍低于人工调优或传统编译器的自动调优成本。


消息来源:Hugging Face Daily Papers (2026-11-14)

—— 完 ——

主题标签: #CompoundingKernel #智能体搜索 #GPU内核优化 #SOL-ExecBench #NVIDIA B200

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…