LOWN：基于证书引导的视觉路由方法，提升扩散视觉语言模型效率

摘要：Hyeon9698团队提出了一种名为LOWN的解码方法，通过自适应决策机制优化扩散视觉语言模型（DVLMs）的推理效率。LOWN在每一步决定是否处理图像以及需要解封多少视觉token，避免了重复处理冗余视觉信息的问题。在无需训练或调整阈值的情况下，LOWN在十个基准测试中以平均35.3%的解码FLOPs保留了LLaDA-V模型99.6%的性能，同时支持与视觉token剪枝方法正交组合，并兼容键值缓存机制以进一步提升效率。

---

技术机制剖析

扩散视觉语言模型（DVLMs）在每个去噪步骤中处理整个输入，其中视觉token占据了输入的89-97%。这导致大部分解码计算被用于重复处理相同的图像信息。传统的视觉token剪枝方法虽然可以移除部分视觉token，但会丢失被移除的信息，并且在每一步仍然需要处理剩余的图像。

为了解决这一问题，Hyeon9698团队提出了LOWN方法。LOWN的核心机制包括：

1. 自适应决策机制：在每一步，LOWN预测不带图像的masked token，并与上一次带图像的预测结果进行比较。如果两者一致，则无需处理图像，直接重用之前的预测结果；如果不一致，则处理图像并更新预测。
2. 证书引导的路由：通过比较预测结果的一致性，LOWN为每一步的预测结果生成一个“证书”，并根据证书的数量决定解封多少token。
3. 跨基准自适应：LOWN的决策机制根据不同基准的需求自适应调整，而不是采用固定的调度策略。

工程权衡与实测表现

• 效率提升：LOWN在无需训练或调整阈值的情况下，在十个基准测试中以平均35.3%的解码FLOPs保留了LLaDA-V模型99.6%的性能。
• 通用性：LOWN不仅适用于LLaDA-V模型，还能推广到基于LLaDA的其他DVLMs。
• 组合优势：LOWN与视觉token剪枝方法正交组合，可以进一步提升效率。
• 缓存兼容性：LOWN支持键值缓存机制，在缓存友好的场景下可以进一步降低计算开销。

开发者落地与部署建议

1. 模型集成：开发者可以将LOWN集成到现有的DVLMs中，通过简单的接口调用实现推理效率的提升。
2. 缓存优化：在资源受限的环境中，建议结合键值缓存机制使用LOWN，以最大化效率提升。
3. 性能监控：建议在部署LOWN后，持续监控其性能表现，并根据具体应用场景调整决策策略，以实现最佳平衡。

结论

LOWN是一种创新的解码方法，通过自适应决策机制和证书引导的路由策略，显著提升了DVLMs的推理效率。该方法不仅在多个基准测试中表现出色，还具备良好的通用性和组合优势，为DVLMs的实际应用提供了更高效的解决方案。

---

消息来源：Hugging Face Daily Papers (2026-10-27)

—— 完 ——

主题标签： #DVLMs 关注 #推理效率 关注 #视觉语言模型 关注 #自适应决策 关注