Hugging Face发布TileMix：加速大语言模型推理的混合精度注意力技术

摘要：Hugging Face团队推出TileMix，这是一款针对大语言模型（LLM）推理优化的混合精度注意力技术。TileMix通过将注意力矩阵划分为硬件对齐的评分组，并使用FP16和INT8混合计算路径，在保持长上下文质量的同时显著提升推理吞吐量。该技术无需额外训练，支持分组查询注意力、可变长度批次和INT8键/值缓存，并在多个基准测试中表现出色，为AI开发者提供了更高效的推理解决方案。

---

技术背景与挑战

大语言模型（LLM）在处理长上下文时，由于密集自注意力机制计算查询-键分数的二次复杂度，导致计算和内存开销巨大。现有的方法通常采用统一的低精度路径或选择性地处理token交互，但这些方法无法充分利用硬件对齐的评分组进行空间精度路由，从而限制了推理效率的提升。

TileMix的核心创新

Hugging Face推出的TileMix通过以下方式解决了上述问题：

• 硬件对齐的评分组划分：将注意力矩阵划分为硬件对齐的评分组，确保计算的高效性。
• 混合精度计算路径：使用FP16和INT8混合计算路径，在保持精度的同时降低计算成本。
• 紧凑位掩码打包：将路由决策打包成紧凑的位掩码，以减少元数据开销。
• 共享在线Softmax状态更新：两条计算路径共享一个在线Softmax状态，确保推理结果的准确性。

技术亮点

• 无需额外训练：TileMix可以直接应用于现有的LLM，无需重新训练。
• 支持多种特性：包括分组查询注意力、可变长度批次和INT8键/值缓存。
• 性能提升显著：在LongEval、LV-Eval和A100预填充基准测试中，TileMix在多个模型家族中均表现出色，恢复了INT8均匀处理下丢失的长上下文质量，并提升了FP16的预填充吞吐量。

行业影响与开发者建议

TileMix的发布为AI开发者提供了一种高效且灵活的推理加速方案，特别适用于对长上下文处理有较高需求的场景，如对话系统、文本生成和复杂推理任务。开发者可以参考TileMix的实现细节，将其集成到现有的LLM推理流程中，以提升整体性能。此外，TileMix的混合精度设计也为未来AI硬件加速器的发展提供了新的思路。

结论

TileMix通过创新的混合精度注意力技术，在保持长上下文质量的同时，显著提升了LLM的推理效率。这一技术的推出不仅推动了LLM在实际应用中的性能优化，也为AI硬件加速领域带来了新的可能性。

---

消息来源：Hugging Face Daily Papers (2026-08-18)

—— 完 ——

主题标签： #Hugging Face 关注 #大语言模型 关注 #推理加速 关注 #混合精度 关注 #TileMix 关注