arXiv发布Galahad-KV：实现AI长时记忆突破，显著提升大模型推理效率

摘要：arXiv发布了一项关于AI长时记忆的研究成果，推出了名为Galahad-KV的开源工具包。该工具包通过将大语言模型的键值（KV）状态保存到本地NVMe磁盘中，并在后续推理中直接加载，避免了重复计算，从而实现了更高效的推理过程。实验表明，Galahad-KV在处理长达5000万token的文本时，推理速度提升了2.8至4.3倍，GPU能耗降低了8.8至12.3倍，同时保持了模型的准确性。这一技术为解决大模型在长文本处理中的计算瓶颈提供了新的解决方案。

---

核心突破

arXiv团队推出了一款名为Galahad-KV的开源工具包，旨在解决大语言模型（LLM）在处理长文本时的计算瓶颈问题。该工具包的核心功能包括：

• KV状态持久化存储：将模型的键值（KV）状态保存到本地NVMe磁盘中，避免重复计算。
• 高效加载机制：通过字节级精确的加载机制，确保状态恢复的完整性和准确性。
• 性能提升：在处理长达5000万token的文本时，推理速度提升了2.8至4.3倍，GPU能耗降低了8.8至12.3倍。

技术细节

Galahad-KV的工作原理是将大语言模型的KV状态按约16,000 token的块分割，并将其加密存储在本地NVMe磁盘中。在推理过程中，模型可以直接从磁盘中加载这些状态，而无需重新计算，从而节省了计算资源和时间。

实验使用了NVIDIA H100 GPU和Gemma 4 12B及Gemma 4 31B模型，测试了50,000,000 token的真实公开文本数据。结果表明：

• 加载速度：加载一个块的速度比重新计算快2.8至4.3倍。
• 能耗降低：GPU能耗降低了8.8至12.3倍。
• 准确性：在询问数百万token之前的事实时，12B模型在100次测试中正确回答了82次，31B模型正确回答了98次。

行业影响

Galahad-KV的发布为AI领域带来了以下影响：

• 提升长文本处理效率：解决了大模型在长文本处理中的计算瓶颈问题。
• 降低资源消耗：显著降低了GPU能耗，延长了硬件使用寿命。
• 促进长时记忆研究：为AI长时记忆的研究和应用提供了新的技术路径。

开发者建议

• 尝试使用Galahad-KV：对于需要处理长文本的开发者，建议尝试使用Galahad-KV，以提升推理效率并降低资源消耗。
• 关注后续更新：关注arXiv团队的后续研究进展，以获取更多关于长时记忆的技术创新。
• 参与开源社区：参与Galahad-KV的开源社区，分享使用经验并贡献代码。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-09)

—— 完 ——

主题标签： #arXiv 关注 #Galahad-KV 关注 #长时记忆 关注 #大模型 关注 #推理效率 关注