arXiv提出弹性潜在循环(ELR)模型：实现大语言模型推理效率与精度平衡

摘要：arXiv发布了一种名为弹性潜在循环(ELR)的新技术，用于训练循环语言模型，旨在解决传统循环模型在单次循环时精度不足的问题。ELR通过门控状态更新、混合循环计数和循环索引条件化等机制，在单次循环时达到与常规非循环模型相同的精度，同时允许通过增加循环次数进一步提升推理精度。实验表明，ELR在4B参数密集模型和30B-A3B混合专家模型上均表现出色，单次循环时与基线模型性能相当，而四次循环则显著提升了模型性能。此外，ELR还通过优化KV缓存机制和专家路由复用技术，降低了推理成本，为大语言模型的灵活部署提供了新的解决方案。

---

技术机制剖析

弹性潜在循环(ELR)模型的核心创新点在于其通过以下三种机制解决了传统循环模型在单次循环时精度不足的问题：

1. 门控状态更新与学习步长：ELR采用门控机制来更新循环状态，并引入学习步长以动态调整更新幅度，从而在单次循环时保持高精度。
2. 混合循环计数：在每次优化更新中，ELR混合使用不同的循环计数，以平衡训练过程中的精度和计算成本。
3. 循环索引与预算条件化：每个循环步骤都根据其循环索引和预算进行条件化处理，使得模型在后续循环中能够更有效地利用计算资源。

此外，ELR还引入了混合深度训练和零初始化条件化技术，以进一步降低训练成本并提升模型性能。在推理阶段，ELR通过仅保留最后一次循环的注意力KV缓存，将KV内存占用保持在单次循环的水平，同时保留了多次循环带来的精度提升。

工程权衡与实测表现

ELR在4B参数密集模型和30B-A3B混合专家模型上的实验结果表明：

• 单次循环：ELR在单次循环时的性能与基线非循环模型相当，4B模型在十个任务的平均得分上仅低0.52分，而30B-A3B模型则高出1.04分。
• 多次循环：四次循环后，ELR在两个模型上的得分分别增加了7.25分和4.75分，显著提升了模型性能。

在MoE模型中，ELR通过重用第一次循环的专家路由路径，将混合深度更新时间缩短了11.7%，且未对精度产生可测量的影响。

开发者落地与部署建议

ELR为开发者提供了一种灵活的大语言模型部署方案，能够根据不同的应用场景和计算资源需求，动态调整循环次数以平衡精度和效率。具体建议如下：

• 资源受限环境：在资源受限的环境中，可以选择单次循环的ELR模型，以获得与常规非循环模型相当的性能，同时降低计算成本。
• 高性能需求：对于对精度要求较高的应用，可以增加循环次数，以获得更高的推理精度。
• 混合专家模型：在MoE模型中，可以利用ELR的重用专家路由技术，进一步优化推理效率。

结论

ELR模型为大语言模型的推理效率与精度平衡提供了新的解决方案，其创新的循环机制和优化技术为AI研究社区和开发者带来了新的思路和工具。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-12)

—— 完 ——

主题标签： #Elastic Latent Recurrence 关注 #大语言模型 关注 #推理优化 关注 #混合专家模型 关注 #循环机制 关注