智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #The Extender #Transformer架构 #长上下文处理 #内存优化

Hugging Face发布The Extender:革新Transformer架构的日志结构变体

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face推出了一种名为The Extender的新型Transformer架构变体,通过引入日志结构设计优化了模型的计算效率与内存占用。该架构在保留Transformer性能的同时,通过减少注意力机制中的持久内存占用,显著提升了长上下文任务的处理能力。实验表明,The Extender在短上下文任务上与标准Transformer性能相当,但在长上下文任务上表现更优,展示了其在资源受限场景中的巨大潜力。


核心突破

Hugging Face近日发布了The Extender,这是一种基于日志结构的Transformer架构变体,旨在解决传统Transformer在处理长上下文任务时的内存瓶颈问题。

主要特点

  1. 日志结构设计:The Extender在标准Transformer的基础上增加了一个扩展通道(x),每个层不仅输出残差更新(δ_ell),还输出一个较小的扩展(ε_ell),该扩展被追加到扩展通道中。
  2. 注意力机制优化:扩展通道(x)仅用于注意力KV投影,而前馈网络(FFN)和查询(q)则继续使用残差通道(h)。这种设计使得扩展通道包含了所有层的完整输入,从而将持久注意力内存占用从2Ld_model减少到sum|ε_ell|。
  3. 性能提升:在短上下文任务(如CORE基准测试)中,The Extender在199M至924M参数范围内与标准Transformer性能相当;而在长上下文任务(如RULER基准测试)中,The Extender在924M参数下表现更优。

内存优化

The Extender的持久注意力内存占用仅为标准多头注意力机制(MHA)的1/104,且随着模型宽度的增加,内存节省效果更加显著。这使得The Extender在处理大规模、长上下文数据时具有显著优势。

行业影响

The Extender的发布标志着Transformer架构在资源优化方向上的重要进展。其在长上下文任务中的出色表现,使其在自然语言处理、语音识别、图像生成等领域具有广泛的应用前景。特别是在资源受限的环境中,The Extender能够以更低的计算成本实现高效的性能表现,为AI模型的部署提供了新的可能性。

开发者建议

  • 模型优化:开发者可以利用The Extender的架构设计优化现有Transformer模型的内存占用和计算效率。
  • 长上下文任务处理:对于需要处理长上下文数据的应用场景,The Extender是一个值得尝试的解决方案。
  • 资源受限环境:在资源受限的环境中,The Extender能够以更低的成本实现高效的性能表现,是AI模型部署的理想选择。

消息来源:Hugging Face Daily Papers (2026-09-26)

—— 完 ——

主题标签: #Hugging Face #The Extender #Transformer架构 #长上下文处理 #内存优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…