Hugging Face发布SparseDecoding：革新LLM推理效率与精度

摘要：Hugging Face推出SparseDecoding框架，通过创新的解码感知剪枝技术，显著提升大语言模型（LLM）的推理效率与精度。该方法通过在算法层面构建与解码激活对齐的校准矩阵，并在系统层面优化N:M稀疏矩阵-向量内核，实现了高达1.48倍的端到端解码加速，同时在长文本生成基准测试中表现优异。SparseDecoding为LLM在资源受限场景下的高效部署提供了新的技术路径。

---

核心突破

Hugging Face的研究团队推出了一款名为SparseDecoding的创新框架，旨在解决大语言模型（LLM）推理中解码阶段的延迟问题。该框架的核心突破包括：

1. 解码感知剪枝：通过在算法层面构建与解码激活对齐的校准矩阵，确保剪枝目标与实际解码过程中的激活分布一致，避免了传统方法中存在的分布偏移问题。

2. 系统级优化：开发了优化的N:M稀疏矩阵-向量内核，结合位掩码索引和固定步长遍历技术，显著提升了稀疏矩阵-向量（SpMV）操作的效率，而SpMV操作在解码过程中占主导地位。

3. 性能提升：在Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B等代表性LLM上的实验结果表明，SparseDecoding在长文本生成基准测试中表现优异，同时实现了高达1.48倍的端到端解码加速。

技术亮点

• 对齐激活分布：通过在密集模型自回归生成过程中收集的层激活构建校准矩阵，确保剪枝后的模型在解码过程中保持激活分布的一致性。
• 高效稀疏内核：优化的N:M稀疏矩阵-向量内核，结合位掩码索引和固定步长遍历技术，显著提升了SpMV操作的效率。
• 广泛适用性：该方法适用于多种LLM架构，并在不同规模的模型上均表现出色。

行业影响

SparseDecoding的发布标志着LLM推理效率优化的重要进展，特别是在资源受限的场景下，如边缘计算和移动设备。该技术的应用将有助于降低LLM的部署成本，并推动其在更多领域的应用。此外，SparseDecoding的开源特性也为研究人员和开发者提供了新的工具，推动LLM技术的进一步发展。

开发者建议

• 尝试应用SparseDecoding：对于需要在资源受限环境中部署LLM的开发者，建议尝试应用SparseDecoding，以提升推理效率。
• 关注后续更新：Hugging Face可能会发布更多关于SparseDecoding的优化和扩展，建议开发者持续关注相关动态。
• 参与开源社区：积极参与SparseDecoding的开源社区，分享使用经验并贡献代码，共同推动该技术的发展。

---

消息来源：Hugging Face Daily Papers (2026-10-08)

—— 完 ——

主题标签： #Hugging Face 关注 #LLM 关注 #剪枝 关注 #推理优化 关注 #SparseDecoding 关注