Hugging Face发布SMELT研究:优化稀疏专家混合Transformer的深度重用
摘要:Hugging Face的研究团队提出了一种名为SMELT(Sparse MoE Transformer, middle layers Loop Twice)的新方法,通过在稀疏专家混合Transformer中重用中间层来提升模型性能。SMELT在保持与未循环基线相同的计算预算(每标记FLOPs、总非嵌入参数和KV缓存)的同时,通过循环中间层两次,显著提升了模型在计算效率上的表现。实验结果表明,SMELT在训练FLOPs上节省了6.8%至18.0%,并且在下游任务中的表现优于传统方法,尤其在代码生成任务中优势明显。
研究背景与动机
Transformer架构在自然语言处理等领域的应用取得了巨大成功,但其计算成本高昂一直是制约其发展的瓶颈之一。为了在不增加模型规模的情况下提升性能,研究人员提出了循环Transformer(Looped Transformers)的概念,通过重用模型中的某些层来增加有效深度。然而,现有研究大多在固定模型规模下进行评估,未能有效区分架构优势与额外计算开销的影响。
SMELT方法
SMELT(Sparse MoE Transformer, middle layers Loop Twice)是一种创新的解决方案,通过在稀疏专家混合Transformer中循环中间层来优化深度重用。具体来说,SMELT将中间一半的层循环两次,同时保持与未循环基线相同的计算预算(每标记FLOPs、总非嵌入参数和KV缓存)。
实验与结果
研究团队对SMELT进行了多规模扩展(最高达540亿非嵌入参数),并为每种架构拟合了独立的Chinchilla风格扩展规律。实验结果表明,SMELT在计算最优边界上显著降低了训练FLOPs,节省了6.8%至18.0%。此外,SMELT在下游任务中的表现也优于传统方法,尤其在代码生成任务中优势明显。
技术亮点
- 深度重用优化:通过循环中间层,SMELT在不增加计算预算的情况下提升了模型的有效深度。
- 计算效率提升:在保持性能的同时,显著降低了训练FLOPs。
- 下游任务表现优异:尤其在代码生成任务中,SMELT展示了更强的适应性和更高的准确性。
- 机制分析:研究表明,循环层的第二次访问减少了注意力沉陷,并引导注意力向内容相关的标记转移,这可能是性能提升的潜在原因。
行业影响与开发者建议
SMELT为Transformer模型的深度重用提供了新的思路,尤其适用于对计算效率要求较高的应用场景。开发者可以参考SMELT的方法,在设计新模型时考虑循环层的应用,以提升模型的计算效率和性能。此外,SMELT的研究结果也为稀疏专家混合模型的进一步优化提供了参考。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-01)
主题标签: #Hugging Face #稀疏专家混合 #深度重用 #Transformer优化 #计算效率
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区