Hugging Face发布Periscope：突破大语言模型上下文窗口限制的新推理方法

摘要：Hugging Face推出了一种名为Periscope的新推理方法，旨在突破大语言模型的上下文窗口限制。Periscope通过将文本分割成多个片段并以网格形式排列，利用冻结模型对局部和跨步跨度进行提问，从而生成证据图谱。这种方法无需重新训练模型即可实现对长文本的高效处理，在LongBench v2和InfiniteBench基准测试中表现优异，显著提升了模型对长文档的理解能力。此外，Periscope还大幅降低了推理时的显存需求，使得在单块80GB GPU上处理4.5M token成为可能。

---

突破上下文窗口限制的新方法

Hugging Face近日发布了一种名为Periscope的新推理方法，旨在解决大语言模型在处理长文本时面临的上下文窗口限制问题。传统的大语言模型在处理超出其上下文窗口的文本时，会出现信息丢失和准确性下降的问题。Periscope通过以下创新机制解决了这一难题：

• 文本分割与网格排列：将长文本分割成多个片段，并将其排列在一个K×K的网格上，其中K等于片段数的上取整。
• 局部与跨步跨度提问：对网格上的局部和跨步跨度进行提问，生成每个答案的log-odds。
• 证据图谱生成：每个片段的得分由其局部和跨步跨度得分共同决定，最终生成一个证据图谱，峰值即为答案所在的片段。

技术亮点

• 无需重新训练：Periscope是一种无需重新训练模型的推理方法，可以直接应用于现有的冻结模型。
• 高效处理长文本：在LongBench v2基准测试中，Periscope仅读取证据图谱中排名最高的K个片段（9k tokens），其性能与模型在32k到1M tokens窗口下的最佳窗口读取性能相匹配。
• 显存效率高：每个调用仅缓存一个探针，使得一个27B参数的模型可以在单块80GB GPU上处理4.5M token的上下文，而传统方法则需要296GB的缓存。

行业影响

Periscope的推出为大语言模型在处理长文档、复杂任务和多模态数据时提供了新的技术路径。其高效的推理机制和低显存需求使其在资源受限的环境中具有广泛的应用前景。此外，Periscope还为研究人员和开发者提供了一种新的思路，即通过创新的推理方法而非模型扩展来提升大语言模型的性能。

开发者建议

• 尝试应用Periscope：对于需要处理长文本的应用场景，建议尝试使用Periscope来提升模型性能。
• 关注后续优化：关注Hugging Face对Periscope的进一步优化和扩展，例如在多模态数据处理中的应用。
• 结合其他技术：将Periscope与其他技术（如知识图谱、推理加速器等）结合使用，以实现更强大的AI系统。

---

消息来源：Hugging Face Daily Papers (2026-10-02)

—— 完 ——

主题标签： #Hugging Face 关注 #大语言模型 关注 #推理方法 关注 #长文本处理 关注