Hugging Face发布HLA-WM：革新长视频世界模型中的记忆与推理效率

摘要：Hugging Face推出了一种名为HLA-WM的新型混合线性注意力框架，用于解决长视频世界模型中的长程遗忘问题。HLA-WM结合了粗粒度的几何引导检索与细粒度的循环线性状态计算，在不增加训练的情况下，显著提升了场景一致性和相机控制性能。实验结果表明，HLA-WM在60秒的SANA-WM-Bench基准测试中，将PSNR提高了0.74 dB，旋转误差降低了28.5%，同时将历史状态内存需求减少了12倍，且推理吞吐量仅下降1.6%。这项技术为长视频生成中的高效场景回忆提供了新的解决方案。

---

背景与挑战

长视频世界模型在处理复杂场景时，需要在长时间跨度内保持场景一致性。传统的softmax 注意力机制通过不断增长的键值（KV）缓存来保留完整的生成历史，但这种方法内存消耗巨大。而循环线性注意力虽然内存效率更高，但在长程场景中容易出现严重的信息遗忘问题，例如在 Gated DeltaNet (GDN) 中，远处但相关场景的信息会被后续状态更新逐渐削弱。

技术突破

Hugging Face 推出的 HLA-WM 是一种无需训练的混合线性注意力框架，旨在解决上述问题。其核心创新点包括：

• 几何引导的粗粒度检索：利用 GDN 的仿射结构缓存紧凑的块状转换摘要。
• 几何引导的历史块检索：通过相机几何信息检索与当前查询相关的历史块。
• 查询特定的循环状态重组：将检索到的历史块重新组合成查询特定的循环状态。

实验结果

在 60 秒的 SANA-WM-Bench 基准测试中，HLA-WM 显著提升了基线自回归生成器的六个聚合重访一致性和相机控制指标，包括：

• PSNR 提高 0.74 dB
• 旋转误差降低 28.5%

此外，HLA-WM 在下游优化后效果依然保持，并在 MBench-A 上表现出色，在所有四个子集和所有评估推理模式下均提升了重访一致性指标。

行业影响与开发者建议

HLA-WM 的发布为长视频生成领域带来了新的技术路径，尤其在处理复杂场景和长时间跨度任务时展现出巨大潜力。以下是几点建议：

• 优化内存使用：开发者可以利用 HLA-WM 的高效内存管理机制，在资源受限的环境中部署长视频模型。
• 提升场景一致性：通过结合几何引导的检索和循环线性状态计算，开发者可以显著提升模型在长视频生成中的场景一致性。
• 探索跨领域应用：HLA-WM 的技术思路可以扩展到其他需要长程记忆和推理的领域，例如机器人导航和自动驾驶。

---

消息来源：Hugging Face Daily Papers (2026-10-05)

—— 完 ——

主题标签： #Hugging Face 关注 #长视频生成 关注 #混合线性注意力 关注 #长程记忆 关注 #场景一致性 关注