WhiteMatter：基于 KV 源混合的全层级跨层连接技术发布

摘要：WhiteMatter 是一种新型 Transformer 模型，通过引入全层级跨层连接机制，允许每个层级利用来自任何深度的 token 表示，从而提升信息重用效率。该技术通过学习混合器选择最有效的层级表示并将其整合到共享的键值（KV）缓存通道中，减少缓存大小并提升模型性能。在相同训练 token 数量下，配备完整缓存的 WhiteMatter 模型性能与标准 Transformer 模型相比可媲美，但参数量减少 50%。此外，WhiteMatter 通过循环迭代技术解决了跨层连接带来的训练和推理速度慢的问题，显著提升了收敛速度。

---

技术背景与创新点

Transformer 模型在处理文本生成任务时，每一层都会生成对过去 token 的表示，但通常只能使用来自相同深度的表示。这种限制阻碍了模型对已计算信息的充分利用。WhiteMatter 通过引入全层级跨层连接机制解决了这一问题，其核心创新点包括：

• 跨层连接机制：允许每一层利用来自任何深度的 token 表示，从而提升信息重用效率。
• 学习混合器：通过学习混合器选择当前上下文中最有用的层级表示，并将其整合到共享的 KV 缓存通道中。
• 缓存优化：跨层共享 KV 缓存通道可以减少缓存大小，在相同训练 token 数量下，配备完整缓存的 WhiteMatter 模型性能与标准 Transformer 模型相比可媲美，但参数量减少 50%。

关键技术细节

1. KV 源混合：WhiteMatter 通过学习混合器选择最有效的层级表示，并将其整合到共享的 KV 缓存通道中。这种方法不仅提升了信息重用效率，还减少了缓存大小。
2. 循环迭代：跨层连接引入了依赖关系，导致训练和推理速度变慢。WhiteMatter 通过循环迭代技术解决了这一问题，循环迭代交替更新交错组中的 token，同时并行处理每组中的 token，从而显著提升了收敛速度。

实验结果与性能

在实验中，WhiteMatter 在两个模型规模上（最高达 1.3B 参数）均表现出色。与匹配的标准 Transformer 模型相比，配备半量 KV 缓存的 WhiteMatter 在性能上更胜一筹。此外，循环迭代技术使得 WhiteMatter 在训练和推理速度上比标准 Jacobi 迭代快 12.5 倍。

行业影响与开发者建议

• 对 AI 社区的影响：WhiteMatter 的发布为 Transformer 模型架构的优化提供了新的思路，尤其在信息重用和缓存优化方面具有重要意义。
• 对开发者的建议：开发者可以尝试将 WhiteMatter 应用于自己的模型中，以提升性能并减少资源消耗。同时，循环迭代技术的应用可以有效解决跨层连接带来的训练和推理速度问题。
• 未来展望：随着 WhiteMatter 的进一步优化和推广，未来可能在更多 AI 应用场景中看到其应用，例如自然语言处理、图像生成和强化学习等。

---

消息来源：Hugging Face Daily Papers (2026-09-27)

—— 完 ——

主题标签： #WhiteMatter 关注 #Transformer 关注 #KV缓存 关注 #跨层连接 关注 #AI模型优化 关注