Memorizon：突破上下文窗口限制训练世界模型的新方法

摘要：Memorizon是一种新提出的训练世界模型的方法，旨在解决传统方法中由于长跨度监督导致的计算成本过高问题。该方法通过分离监督与注意力机制，仅在训练样本的最后k个片段上进行评分，同时利用相机共视性检索前k个片段的潜在表示，从而构建共享的潜在存储库。这种方法显著降低了长跨度监督的计算成本，同时提高了模型在重复访问场景中的渲染一致性。实验结果表明，Memorizon在保持图像质量的同时，显著提升了模型在复杂场景中的表现。

---

背景与挑战

在构建世界模型时，传统的监督学习方法需要捕捉长时间的跨度信息，这会导致计算成本呈二次方增长，难以在实际应用中扩展。Memorizon旨在解决这一问题，通过分离监督与注意力机制，降低长跨度监督的计算负担。

技术亮点

1. 分离监督与注意力机制：Memorizon仅在训练样本的最后k个片段上进行评分，而利用相机共视性检索前k个片段的潜在表示，从而构建共享的潜在存储库。这种方法避免了传统方法中由于长跨度监督导致的计算成本过高问题。

2. 动态潜在存储库构建：通过相机共视性检索前k个片段的潜在表示，构建一个动态的共享存储库。该存储库的大小由kK决定，因此无论跨度多长，序列长度始终保持有界。

3. 高效的训练流程：在最短跨度的情况下，Memorizon的训练流程与传统方法完全一致。随着跨度的增加，训练成本仅略有增加。例如，从100秒增加到400秒，训练时间仅增加12%。

4. 显著提升模型性能：与滑动窗口基线相比，Memorizon在所有数据集上均提升了重复访问的一致性。当跨度足够长以覆盖每次返回的第一访问时，模型性能进一步提升了24%到30%，尽管在图像质量上有所牺牲。

实验结果

实验结果表明，Memorizon在重复访问场景中的渲染一致性方面表现优异，尤其是在需要长时间跨度的任务中。此外，从另一个情节填充存储库会降低重复访问的相关性83%，这表明模型确实利用了检索到的信息。

行业影响与开发者建议

Memorizon为世界模型的训练提供了一种高效且可扩展的解决方案，特别适用于需要处理长跨度监督的场景。对于开发者而言，可以考虑以下建议：

• 优化存储库构建：根据具体应用场景调整k和K的值，以在性能和计算成本之间找到最佳平衡。

• 结合其他技术：将Memorizon与其他技术（如多模态学习、强化学习）结合，进一步提升模型在复杂任务中的表现。

• 关注长跨度监督场景：在需要长时间跨度的应用中，Memorizon可以显著提升模型的效率和性能。

---

消息来源：Hugging Face Daily Papers (2026-09-30)

—— 完 ——

主题标签： #Memorizon 关注 #世界模型 关注 #长跨度监督 关注 #深度学习 关注 #计算效率 关注