智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #大语言模型 #分布式推理 #长上下文处理 #强化学习

Hugging Face 发布 DISCO:分布式长上下文推理框架,提升复杂推理效率

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face 推出了一种名为 DISCO 的新型分布式长上下文推理框架,旨在解决大语言模型(LLM)在处理长文本时面临的推理质量下降问题。DISCO 通过将长上下文分割并分配给多个专用 Worker LLM 进行并行处理,并由一个经过强化学习训练的 Driver LLM 优化执行流程,从而有效避免了上下文噪声对推理的影响。在 RULER-QA(100 万 token)测试中,DISCO 保持了 78.4% 的准确率,而传统基线模型在此场景下性能崩溃。此外,DISCO 在 LongBench v2 上比全上下文模型高出 9.8 个百分点,同时推理成本降低了 80%,展示了其在高效长上下文推理中的潜力。


核心突破

Hugging Face 近日发布了一种名为 DISCO(Distributed Long Context Scaling with Grounding-Reasoning Disaggregation)的新型分布式长上下文推理框架。该框架旨在解决大语言模型(LLM)在处理长文本时面临的推理质量下降问题。

技术亮点

  1. 分布式架构设计:DISCO 借鉴了分布式计算框架(如 Apache Spark)的设计理念,将长上下文分割并分配给多个专用 Worker LLM 进行并行处理。这种设计有效减轻了单个模型的计算负担,并提升了整体处理效率。

  2. 强化学习优化:DISCO 的核心组件 Driver LLM 通过强化学习(GRPO)进行训练,负责优化执行流程。它动态地将查询映射为原子提取任务,并整合收集的证据以生成最终答案。

  3. 上下文噪声隔离:通过将推理过程与原始上下文噪声隔离开来,DISCO 有效避免了上下文噪声对推理的影响,从而提升了复杂推理任务的表现。

  4. 性能与成本优势:在 RULER-QA(100 万 token)测试中,DISCO 保持了 78.4% 的准确率,而传统基线模型在此场景下性能崩溃。此外,DISCO 在 LongBench v2 上比全上下文模型高出 9.8 个百分点,同时推理成本降低了 80%。

行业影响

DISCO 的发布标志着 LLM 在长上下文处理领域的重大突破。其高效的处理能力和低推理成本使其在需要处理大规模文本数据的应用场景中具有广泛的应用潜力,例如法律文档分析、学术研究文献处理以及长篇内容生成等。

开发者建议

  • 关注应用场景:开发者应关注 DISCO 在长文本处理任务中的应用场景,例如法律、金融和学术领域。
  • 优化模型集成:建议开发者探索如何将 DISCO 与现有的大语言模型集成,以提升复杂推理任务的表现。
  • 关注后续更新:Hugging Face 可能会发布 DISCO 的后续版本和改进,开发者应持续关注相关动态。

结论

DISCO 的推出为 LLM 在长上下文处理中的应用提供了新的解决方案,其高效的性能和低推理成本使其成为处理大规模文本数据的理想选择。


消息来源:Hugging Face Daily Papers (2026-09-27)

—— 完 ——

主题标签: #Hugging Face #大语言模型 #分布式推理 #长上下文处理 #强化学习

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…