Groq发布新一代LPU™ AI加速器，刷新大语言模型推理性能记录

摘要：Groq在SC23会议上展示了其最新一代的LPU™ AI加速器，刷新了大语言模型（LLM）推理性能的世界纪录。该加速器在处理Meta AI的Llama-2 70B开源模型时，实现了每秒超过280个token的生成速度，展示了其在低延迟和高吞吐量方面的卓越性能。此外，Groq还介绍了其针对企业级AI应用优化的软件驱动架构和token-as-a-service服务模式，为AI开发者提供了更高效、更具成本效益的解决方案。

---

Groq发布新一代LPU™ AI加速器，刷新LLM推理性能记录

在2023年11月12日至17日于丹佛举行的SC23高性能计算会议上，AI解决方案公司Groq展示了其最新一代的LPU™ AI加速器。该加速器在处理大语言模型（LLM）时，刷新了推理性能的世界纪录，主要亮点包括：

• 低延迟与高吞吐量：在Meta AI的Llama-2 70B开源模型上，Groq的LPU™系统实现了每秒超过280个token的生成速度，展示了其在低延迟和高吞吐量方面的卓越性能。
• 软件驱动架构：LPU™加速器采用软件驱动的架构设计，能够根据不同应用场景进行灵活优化，满足企业级AI应用的需求。
• Token-as-a-Service模式：Groq推出了token-as-a-service服务模式，为客户提供更便捷的AI服务体验，并降低了硬件部署的复杂性。

Groq的工程副总裁Jim Miller表示：“我们通过创新的LPU™系统，突破了传统技术的限制，在性能、功耗和可扩展性方面树立了新的标准。”此外，Groq的云与HPC软件工程负责人Yaniv Shemesh强调：“Groq的突破性速度为我们的客户开辟了新的可能性，并推动了AI应用场景的创新。”

技术亮点解析

1. LPU™加速器架构：Groq的LPU™加速器采用独特的架构设计，专注于优化AI推理过程中的数据流处理，从而实现低延迟和高吞吐量。
2. 软件优化：通过软件驱动的优化策略，Groq能够根据不同应用场景进行灵活调整，确保在各种负载下都能保持高性能。
3. Token-as-a-Service：该服务模式简化了AI服务的部署流程，客户无需自行搭建复杂的硬件基础设施，即可享受高性能的AI推理服务。

行业影响与开发者建议

Groq的LPU™加速器为AI开发者提供了更高效、更具成本效益的解决方案，尤其适用于对低延迟和高吞吐量有严格要求的应用场景，如实时翻译、语音识别和自动驾驶等。开发者可以关注Groq的token-as-a-service模式，以降低硬件部署成本，并利用其高性能加速器提升AI应用的性能。

此外，Groq的创新技术也推动了AI硬件加速器领域的发展，为其他厂商提供了新的设计思路和技术参考。未来，随着AI应用的不断扩展，Groq的LPU™加速器有望在更多领域得到广泛应用。

---

消息来源：Groq Blog (2026-09-07)

—— 完 ——

主题标签： #Groq #AI加速器 #LLM推理 #高性能计算 #token-as-a-service