Hugging Face发布DeCoPrune：高效KV缓存剪枝技术革新自回归视频生成

摘要：Hugging Face推出了一种名为DeCoPrune的新方法，用于解决自回归视频生成中KV缓存不断增长的问题。该方法通过将缓存压缩视为去噪一致性优化问题，利用去噪难度作为衡量token长期保留价值的代理指标，显著减少了历史KV token数量，同时保持了接近全缓存的远程记忆能力。实验表明，DeCoPrune在保留信息的同时，将历史KV token剪枝率提高到85%以上，并使生成速度提升了4倍以上。

---

核心突破

自回归视频生成技术在流式生成和交互控制方面具有显著优势，但其KV缓存会随着生成历史的增加而不断增长，导致推理成本高昂。现有的压缩策略通常采用固定窗口丢弃历史或通过局部注意力和相似性信号选择token，但这些方法无法直接衡量当前token是否在保留上下文之外提供额外信息。

Hugging Face推出的DeCoPrune通过以下方式解决了这一问题：

• 去噪一致性优化：将缓存压缩视为去噪一致性优化问题，利用去噪难度作为衡量token长期保留价值的代理指标。
• 动态剪枝机制：通过测量当前token的中间清洁预测与最终去噪值之间的差异，保留高差异token，剪除低差异token。

技术亮点

• 无训练方法：DeCoPrune是一种无训练方法，易于集成到现有自回归模型中。
• 高效剪枝：在实验中，DeCoPrune将历史KV token剪枝率提高到85%以上，同时保持了接近全缓存的远程记忆能力。
• 性能提升：生成速度提升了4倍以上，显著优于现有的压缩基线方法。

行业影响

DeCoPrune的发布标志着自回归视频生成领域的重要进展，特别是在处理长序列任务时，其高效剪枝机制和性能提升为AI开发者提供了更强大的工具。此外，该方法还展示了去噪一致性在模型内部信号优化中的潜力，为未来的研究提供了新的方向。

开发者建议

• 集成与测试：建议AI开发者将DeCoPrune集成到现有的自回归模型中，并进行广泛的测试以评估其性能。
• 优化策略：利用DeCoPrune的动态剪枝机制，优化模型的推理流程，提升整体效率。
• 探索新应用：探索DeCoPrune在多模态生成、实时交互系统等领域的应用潜力。

---

消息来源：Hugging Face Daily Papers (2026-10-05)

—— 完 ——

主题标签： #Hugging Face 关注 #KV缓存 关注 #自回归模型 关注 #视频生成 关注 #AI优化 关注