Together Compiler用AI代理融合GPU内核,B200吞吐提升28%
摘要:Together AI 发布 Together Compiler,让 AI 智能体重写并融合模型前向传播中的 GPU 内核,以生成式方案替代手工 megakernel。公司称,在 B200 上运行 Llama 3.2 1B 时,吞吐由 1,649 提升至 2,118 token/s,增幅约 28%。其价值在于把内核开发从一次性手工工程转成可重复的生成、编译与验证流程。但现有证据仅覆盖单一硬件和小模型,代理工作流、精度、批量、编译成本及跨模型泛化尚未披露,生产采用仍需数值回归与端到端压测。
核心变化
Together Compiler 将 AI 智能体引入 GPU 内核优化链路:针对模型前向传播生成或重写内核,再将可融合的算子合并。Together AI 的目标不再是维护一个范围不断扩张的手工 megakernel,而是让专用内核随模型结构、输入形状和目标硬件生成。公开摘要没有披露图解析、代码生成、自动调优或验证细节,因此这还不能被解读为智能体可以无监督地完成任意 CUDA 优化。
技术机制:融合究竟减少了什么
Transformer 推理中的 GEMM 和注意力计算通常更接近计算受限,而归一化、激活、掩码和残差连接等相邻逐元素算子更容易受显存带宽约束。若这些算子分别启动内核,中间张量需要写入 HBM,再由下一个内核读回;对一个包含 N 个元素、每元素 d 字节的张量,每增加一次 HBM 往返,理论数据移动量约为 2Nd 字节。
融合后,中间值可在条件允许时保留在寄存器或共享内存中,从而减少 HBM 事务、内核启动和调度开销。但融合并非越彻底越好:如果融合范围跨越矩阵乘或注意力,寄存器压力、共享内存占用和溢出风险会上升,进而降低 occupancy。决定性能的是算子分区、访存布局、线程映射和调度策略,而不是单纯减少内核数量。
AI 智能体的潜在价值在于扩大代码生成与搜索空间,并自动处理大量重复的编译、调试和调优工作。可靠的工程链路至少应包含图捕获、融合合法性检查、代码生成、编译、数值对齐、自动调优、候选选择与产物缓存;现有摘要没有说明这些环节分别由智能体还是传统编译器完成。
28% 性能结果应如何解读
按照官方数据,2,118 除以 1,649 约为 1.284,即吞吐提升约 28.4%,与报道中的 28% 基本一致,绝对增量为 469 token/s。对手还是手工编写的 megakernel,而不是未经优化的常规算子库,这一点提高了结果的可信度。
不过,实验仅覆盖 B200 和 Llama 3.2 1B。1B 小模型更容易放大固定开销与融合收益,而更大模型通常由 GEMM、注意力访存和通信占据主导,比例未必能够复现。当前也没有公布批量大小、输入输出长度、预填充与解码拆分、KV Cache 状态、精度格式、预热次数、CUDA Graph 使用方式和方差。聚合吞吐提升 28% 也不等于所有请求的 TTFT、Token 间延迟和 p99 延迟都下降 28%。
工程权衡
- 一次性成本与长期收益:智能体搜索、编译和调优可能需要数分钟乃至更久,必须用稳定服务期内的吞吐与能耗收益摊销。若模型、形状或 CUDA 版本频繁变化,缓存命中率会降低。
- 数值正确性:FlashAttention、融合归一化或改变浮点运算顺序可能改变舍入误差。自动生成的代码需要与成熟实现进行逐算子回归,而不能只检查最终输出是否近似。
- 性能可移植性:面向 B200 调优的 tile、共享内存和指令组合未必适合 H100、AMD GPU 或不同 CUDA 架构。生产系统应保存硬件、驱动、编译器与模型指纹。
- 可维护性与安全性:手写内核容易审计,但迭代缓慢;生成式内核提高开发速度,却引入代码审查、依赖锁定、沙箱执行和回滚机制等新要求。
- 基线公平性:需要确认手工 megakernel 是否经过同等程度的自动调优,以及双方是否使用相同精度、批量、预热策略和计时边界,否则 28% 可能混入基线实现差异。
开发者落地建议
部署前应把生成内核视为需要严格验证的编译器产物。工程团队可先固定模型版本、权重、输入形状、并行策略和 CUDA 工具链,为每种生产形状生成并缓存独立产物;随后以 eager 执行或受信任编译器为基准,设置逐层与端到端的 allclose 容差,覆盖异常输入和长上下文。
性能验收不能只看 token/s,还应同时测量批量 1 与高并发场景、预填充和生成阶段、TTFT、Token 间延迟、p95/p99、显存占用、功耗及每 Token 能耗。线上应保留自动回退到稳定内核的路径,并持续记录新生成内核的数值偏差、编译失败率和收益衰减。
证据边界
Together Compiler 最有价值的部分并非单一的 28% 数字,而是尝试把智能体代码生成纳入内核编译闭环。如果它能稳定复现跨模型、跨形状的结果,并让每个生成内核都通过自动验证,就可能把 GPU 优化从少数专家的长期工程改造成可扩展的基础设施能力。现阶段它仍是一个有吸引力的工程验证,而非可替代成熟推理栈的普适方案。
—— 完 ——消息来源:Together AI Blog (2026-11-16)
主题标签: #Together AI #AI编译 #GPU内核融合 #B200 #推理优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区