智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #TinyCeNN-LM #预训练语言模型 #注意力替换 #CeNN #缓存优化

TinyCeNN-LM:基于CeNN的细胞循环层实现高质量后训练注意力替换

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:TinyCeNN-LM提出了一种基于CeNN(细胞神经网络)启发的细胞循环层的高质量后训练注意力替换框架,旨在解决预训练语言模型中替换注意力机制时的兼容性问题。该框架通过引入局部处理、紧凑循环记忆、路由、融合和接受或回滚验证机制,实现了保守的结构性转换。在SmolLM2-135M和Qwen3.5-0.8B模型上的实验表明,该方法在保持模型性能的同时,显著减少了缓存需求,并支持对复杂模型结构的逐步优化。


核心突破

TinyCeNN-LM提出了一种基于CeNN(细胞神经网络)启发的细胞循环层的高质量后训练注意力替换框架,旨在解决预训练语言模型中替换注意力机制时的兼容性问题。该框架的核心创新点包括:

  • 质量门控机制:通过固定阈值对表示和负对数似然(NLL)进行评估,只有满足条件的层才会被接受,从而确保转换后的模型性能。
  • 三种实现方式:研究了Integrated Memory、MemoryFusion和PDelta3-GDN2-CLVR+Local32三种实现方式,以适应不同的应用场景。
  • 实验验证:在SmolLM2-135M模型上,层0-2被接受,而层3因表示保真度不足被拒绝;在Qwen3.5-0.8B模型上,层3、7和11被接受,最终的负对数似然变化为+0.02073。

技术亮点

  • 保守的结构性转换:与传统的通用注意力替换或加速方法不同,TinyCeNN-LM采用保守的、逐步优化的方法,确保转换后的模型性能稳定。
  • 缓存优化:Integrated Memory实现方式在保持模型困惑度在-0.07%至+0.93%范围内的同时,总缓存减少了高达6.01%。
  • 下游任务性能:在200项下游任务的抽样检查中,转换后的Qwen模型整体准确率为28.5%-32.0%,展示了其在实际应用中的潜力。

行业影响

TinyCeNN-LM为预训练语言模型的注意力机制替换提供了一种新的思路,特别是在资源受限的环境中,可以有效减少缓存需求并保持模型性能。这对于AI模型的部署和优化具有重要意义,尤其是在边缘计算和移动设备上。

开发者建议

  • 逐步优化:建议开发者采用逐步优化的方法,先在小规模模型上进行测试,再扩展到更大规模的模型。
  • 关注缓存优化:在资源受限的环境中,可以优先考虑使用Integrated Memory实现方式,以获得更好的缓存优化效果。
  • 结合下游任务:在转换过程中,结合下游任务进行评估,以确保转换后的模型在实际应用中的性能。

消息来源:ArXiv AI (cs.AI) (2026-09-21)

—— 完 ——

主题标签: #TinyCeNN-LM #预训练语言模型 #注意力替换 #CeNN #缓存优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…