Together Compiler用智能体持续优化开放模型推理吞吐

摘要：Together AI 发布 Together Compiler，通过智能体与持久化编译引擎，在24小时内针对流量变化持续优化开放模型，官方称最高可将推理吞吐量提升3.7倍。其价值不在于一次性生成静态执行计划，而是把模型、硬件和线上负载约束纳入反馈闭环。不过，现有材料未披露测试模型、硬件配置、基线方法、编译覆盖率及精度影响，3.7倍上限也需结合端到端数据验证。

---

发布要点

Together AI 发布 Together Compiler，将智能体驱动的代码生成与持久化推理编译引擎组合起来，用于持续优化开放模型。根据官方披露，系统可在24小时内完成一轮优化，并在特定流量条件下将吞吐量最高提升至原来的3.7倍。

这里的关键词是“持续编译”。传统推理优化通常在模型、GPU 型号、序列长度和并发区间确定后离线生成内核与执行计划；真实线上流量一旦改变，静态配置容易偏离最优区间。Together Compiler 试图把部署指标重新反馈给智能体，再由智能体修改或生成优化方案，随后由持久化引擎负责编译、验证和部署，从而形成持续运行的优化闭环。

技术机制剖析

从公开描述看，该系统大致由三层构成：

1. 观测层收集吞吐、延迟、请求长度、并发量以及运行时错误等信号，用于判断当前执行方案是否仍匹配线上负载。
2. 智能体层根据这些信号修改推理代码、生成算子实现或调整编译配置。其优势是能够处理跨 CUDA、算子实现、并行策略和内存布局的组合搜索，而不只是微调单个内核参数。
3. 持久化编译引擎层维护并验证候选执行方案，避免每次请求或每个短周期都从头构建。它也是“智能体提出方案”和“生产环境可执行代码”之间的安全边界。

对大模型推理而言，最值得关注的不是智能体本身，而是它控制的搜索空间。典型优化项包括融合算子、量化、KV Cache 管理、连续批处理、分页注意力、算子替换、内存布局以及不同硬件内核的组合。其物理约束最终仍受两个主要瓶颈支配：显存容量决定权重与 KV Cache 能否同时驻留，内存带宽决定自回归解码能否快速读取权重。

若系统以低精度计算优化吞吐量，还需要重点检查误差来源。FP16 或 BF16 权重缩放通常不会显著破坏通用模型质量，但 INT8/INT4 量化对异常值、激活分布和小批量请求更敏感；融合算子也可能改变浮点运算顺序，使结果与参考实现出现数值偏差。生产系统因此需要为每个模型、精度组合和硬件变体保留回归测试，而不能只比较单次吞吐。

工程权衡与实测表现

官方给出的最高3.7倍吞吐提升展示了较大优化空间，但这个数字不能直接视为所有模型和负载下的普遍收益。不同推理任务受瓶颈约束的阶段并不相同：

• Prefill 阶段通常偏计算密集，矩阵乘法、注意力核和长上下文处理决定容量；
• Decode 阶段往往受显存带宽与 KV Cache 访问限制；
• 短请求低并发场景下，调度、Python 边界和内核启动开销可能比 GPU 算力更重要；
• 长上下文高并发场景中，KV Cache 显存与调度策略往往主导性能。

因此，同一套编译优化即使提高某个批处理区间的 tokens/s，也可能损害尾延迟。尤其是智能体持续调整参数时，如果只优化平均吞吐而缺乏约束，就可能通过过度批处理或切换内核提高吞吐，却让首 token 延迟和 P99 延迟恶化。

“24小时内完成优化”降低了从模型上线到获得性能收益的等待时间，但持续运行并不等于零维护成本。智能体生成代码必须经过编译、静态检查、基准测试和回归验证后才能进入生产路径；任何错误都可能导致进程崩溃、数值异常或安全漏洞。持久化引擎因此应被视为带版本管理、审批和回滚能力的执行系统，而非简单的后台缓存。

评测客观性

现有信息只支持“最高3.7倍”这一上限性结论，尚不足以判断实际部署收益。完整评测至少应覆盖以下维度：

• 固定模型版本、输入与输出长度、并发度、采样参数和请求混合比例；
• 对比未优化、静态手工优化和常用编译器基线，避免只选择较弱起点；
• 同时报告 tokens/s、请求吞吐、首 token 延迟、token 间延迟及 P95/P99；
• 检查输出任务质量、困惑度或任务准确率，验证优化没有通过精度损失换取速度；
• 覆盖模型更新、GPU 驱动升级和流量突变，评估持续优化是否会产生回归。

如果3.7倍来自特殊长度、特定 batch size 或低精度配置，它更适合作为系统优化上限，而非面向所有开放模型的普遍承诺。

开发者落地与部署建议

生产团队可分四步接入：

1. 选定一个内部使用率高的开放模型，记录未优化基线与当前推理栈版本；
2. 将线上流量聚合成具有代表性的请求分布，而不是只使用固定长度的合成样本；
3. 为智能体候选方案设置沙箱、精度门槛和性能回归门禁，只允许通过验证的版本灰度上线；
4. 持续监控吞吐、P99 延迟、错误率与输出质量，并为编译器和模型分别保留回滚路径。

对于已经使用 vLLM、TensorRT-LLM、SGLang 或专用算子库的团队，Together Compiler 的价值更可能体现为跨现有组件自动寻找更优组合，而不是替换全部推理栈。能否复用现有缓存、量化格式和服务协议，将直接决定接入成本。

总体而言，Together Compiler 把 AI 智能体从模型层工具推进到推理系统优化层。其潜在突破在于让编译结果随流量持续演化，而不只是发布时生成一次；主要风险则是候选代码安全、指标局部优化和尾延迟退化。只有在端到端基准、线上灰度与严格回滚机制共同成立时，3.7倍吞吐提升才具有可信的工程意义。

---

消息来源：Together AI Blog (2026-11-04)

—— 完 ——

主题标签： #Together AI 关注 #推理优化 关注 #持续编译 关注 #智能体系统 关注 #LLM基础设施 关注