Hugging Face提出LSP方法：革新神经网络压缩技术

摘要：Hugging Face团队提出了一种名为Learnable Subspace Projections (LSP)的新方法，用于神经网络压缩。LSP通过端到端学习要丢弃的子空间，显著提升了压缩效率与模型性能。与传统方法相比，LSP在LLM和视觉模型上的表现尤为突出，例如在Llama-2-7B模型上，-70%压缩率下，WikiText-2的困惑度降至10.9，零样本准确率提升至42.2%。该方法不仅优化了模型推理速度，还大幅降低了内存占用，为AI模型的部署和应用提供了更高效的解决方案。

---

背景与挑战

现代Transformer模型在自然语言处理和计算机视觉领域表现出色，但其庞大的参数量和计算需求限制了其在资源受限环境中的应用。传统的低秩权重分解方法虽然能减少内存和计算需求，但这些方法通常基于局部标准选择子空间，忽略了误差在网络中的传播，导致高压缩率下性能急剧下降。

技术突破

Hugging Face团队提出的Learnable Subspace Projections (LSP)方法通过以下创新解决了上述问题：

• 端到端学习子空间：LSP为每个线性层或共享激活的层组分配一个正交投影器，所有投影器针对全局目标（如KL散度或原始训练损失）进行联合优化，而预训练权重保持冻结。
• 初始化与秩分配：投影器从白化SVD截断初始化，秩根据每个参数节省所引起的输出KL分配。
• 模型优化与融合：训练后，投影器合并为标准低秩因子，每个共享组共享一个因子。在注意力机制中，这允许模型缓存一个狭窄的潜在表示，替代完整的键和值。

实验结果

在多个模型上的实验表明，LSP在压缩效率与性能之间实现了更好的平衡：

• 在Llama-2-7B模型上，-70%压缩率下，WikiText-2的困惑度降至10.9，零样本准确率提升至42.2%，而最强基线方法的困惑度和准确率分别为13.3和36.0%。
• 在小批量尺寸下，因子化模型的解码速度比密集模型快1.6倍。
• 在128k-token上下文中，权重和KV缓存的组合内存减少了13.5倍，而传统方法最多只能减少6.5倍。

行业影响与开发者建议

LSP方法为AI模型的压缩和部署提供了新的思路，尤其适用于资源受限的应用场景，如移动设备、嵌入式系统等。开发者可以尝试将LSP应用于自己的模型，以实现更高效的压缩和推理优化。此外，LSP的创新点在于其全局优化策略，这为未来的模型压缩研究提供了新的方向。

未来展望

未来，LSP方法有望在多模态模型、实时AI应用以及边缘计算等领域发挥重要作用。随着AI模型的不断演进，压缩技术的进步将直接影响AI技术的普及和应用场景的拓展。

---

消息来源：Hugging Face Daily Papers (2026-09-30)

—— 完 ——

主题标签： #Hugging Face 关注 #神经网络压缩 关注 #LSP 关注 #大语言模型 关注 #模型优化 关注