智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #稀疏专家混合 #深度重用 #Transformer优化 #计算效率

Hugging Face发布SMELT研究:优化稀疏专家混合Transformer的深度重用

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 1 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face的研究团队提出了一种名为SMELT(Sparse MoE Transformer, middle layers Loop Twice)的新方法,通过在稀疏专家混合Transformer中重用中间层来提升模型性能。SMELT在保持与未循环基线相同的计算预算(每标记FLOPs、总非嵌入参数和KV缓存)的同时,通过循环中间层两次,显著提升了模型在计算效率上的表现。实验结果表明,SMELT在训练FLOPs上节省了6.8%至18.0%,并且在下游任务中的表现优于传统方法,尤其在代码生成任务中优势明显。


研究背景与动机

Transformer架构在自然语言处理等领域的应用取得了巨大成功,但其计算成本高昂一直是制约其发展的瓶颈之一。为了在不增加模型规模的情况下提升性能,研究人员提出了循环Transformer(Looped Transformers)的概念,通过重用模型中的某些层来增加有效深度。然而,现有研究大多在固定模型规模下进行评估,未能有效区分架构优势与额外计算开销的影响。

SMELT方法

SMELT(Sparse MoE Transformer, middle layers Loop Twice)是一种创新的解决方案,通过在稀疏专家混合Transformer中循环中间层来优化深度重用。具体来说,SMELT将中间一半的层循环两次,同时保持与未循环基线相同的计算预算(每标记FLOPs、总非嵌入参数和KV缓存)。

实验与结果

研究团队对SMELT进行了多规模扩展(最高达540亿非嵌入参数),并为每种架构拟合了独立的Chinchilla风格扩展规律。实验结果表明,SMELT在计算最优边界上显著降低了训练FLOPs,节省了6.8%至18.0%。此外,SMELT在下游任务中的表现也优于传统方法,尤其在代码生成任务中优势明显。

技术亮点

  1. 深度重用优化:通过循环中间层,SMELT在不增加计算预算的情况下提升了模型的有效深度。
  2. 计算效率提升:在保持性能的同时,显著降低了训练FLOPs。
  3. 下游任务表现优异:尤其在代码生成任务中,SMELT展示了更强的适应性和更高的准确性。
  4. 机制分析:研究表明,循环层的第二次访问减少了注意力沉陷,并引导注意力向内容相关的标记转移,这可能是性能提升的潜在原因。

行业影响与开发者建议

SMELT为Transformer模型的深度重用提供了新的思路,尤其适用于对计算效率要求较高的应用场景。开发者可以参考SMELT的方法,在设计新模型时考虑循环层的应用,以提升模型的计算效率和性能。此外,SMELT的研究结果也为稀疏专家混合模型的进一步优化提供了参考。


消息来源:Hugging Face Daily Papers (2026-09-01)

—— 完 ——

主题标签: #Hugging Face #稀疏专家混合 #深度重用 #Transformer优化 #计算效率

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…