Hugging Face发布The Extender:革新Transformer架构的日志结构变体
摘要:Hugging Face推出了一种名为The Extender的新型Transformer架构变体,通过引入日志结构设计优化了模型的计算效率与内存占用。该架构在保留Transformer性能的同时,通过减少注意力机制中的持久内存占用,显著提升了长上下文任务的处理能力。实验表明,The Extender在短上下文任务上与标准Transformer性能相当,但在长上下文任务上表现更优,展示了其在资源受限场景中的巨大潜力。
核心突破
Hugging Face近日发布了The Extender,这是一种基于日志结构的Transformer架构变体,旨在解决传统Transformer在处理长上下文任务时的内存瓶颈问题。
主要特点
- 日志结构设计:The Extender在标准Transformer的基础上增加了一个扩展通道(x),每个层不仅输出残差更新(δ_ell),还输出一个较小的扩展(ε_ell),该扩展被追加到扩展通道中。
- 注意力机制优化:扩展通道(x)仅用于注意力KV投影,而前馈网络(FFN)和查询(q)则继续使用残差通道(h)。这种设计使得扩展通道包含了所有层的完整输入,从而将持久注意力内存占用从2Ld_model减少到sum|ε_ell|。
- 性能提升:在短上下文任务(如CORE基准测试)中,The Extender在199M至924M参数范围内与标准Transformer性能相当;而在长上下文任务(如RULER基准测试)中,The Extender在924M参数下表现更优。
内存优化
The Extender的持久注意力内存占用仅为标准多头注意力机制(MHA)的1/104,且随着模型宽度的增加,内存节省效果更加显著。这使得The Extender在处理大规模、长上下文数据时具有显著优势。
行业影响
The Extender的发布标志着Transformer架构在资源优化方向上的重要进展。其在长上下文任务中的出色表现,使其在自然语言处理、语音识别、图像生成等领域具有广泛的应用前景。特别是在资源受限的环境中,The Extender能够以更低的计算成本实现高效的性能表现,为AI模型的部署提供了新的可能性。
开发者建议
- 模型优化:开发者可以利用The Extender的架构设计优化现有Transformer模型的内存占用和计算效率。
- 长上下文任务处理:对于需要处理长上下文数据的应用场景,The Extender是一个值得尝试的解决方案。
- 资源受限环境:在资源受限的环境中,The Extender能够以更低的成本实现高效的性能表现,是AI模型部署的理想选择。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-26)
主题标签: #Hugging Face #The Extender #Transformer架构 #长上下文处理 #内存优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区