智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Transformer #剪枝 #多臂老虎机 #模型压缩 #arXiv

arXiv提出损伤感知多臂老虎机剪枝法,提升视觉与语言Transformer效率

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 9 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项关于Transformer模型剪枝的新研究,提出了一种名为损伤感知多臂老虎机(Damage-Aware Bandit Pruning)的新方法。该方法通过将结构化单元选择问题建模为多臂老虎机问题,在固定候选评估预算下优化注意力头和MLP通道组的剪枝策略。实验结果表明,该方法在多个基准测试中显著降低了模型性能退化,尤其在语言模型对比中表现突出,为Transformer模型的高效压缩提供了新的技术路径。


研究背景与动机

Transformer模型在自然语言处理和计算机视觉领域取得了巨大成功,但其庞大的参数量带来了高计算成本和内存需求。剪枝技术通过移除冗余参数来降低模型复杂度,但现有方法在选择剪枝单元时往往面临性能退化问题。

方法与创新

本研究提出了一种名为损伤感知多臂老虎机(Damage-Aware Bandit Pruning)的新方法,将结构化单元选择问题建模为多臂老虎机问题。其核心思想是:

  • 损伤感知评估:通过在校准批次上暂时掩码注意力头和MLP通道组,计算掩码损失与基线损失的差异,以评估每个单元的损伤程度。
  • 多臂老虎机策略:采用平滑有界奖励机制,驱动UCB风格策略或分数Beta汤普森采样算法,逐步构建最终掩码。
  • 顺序构建掩码:在每一步中,添加一个单元到掩码中,确保剪枝过程的渐进性和稳定性。

实验与结果

研究在WikiText-2、LAMBADA和Imagenette等数据集上进行了实验,涵盖GPT-2、OPT、Pythia、Qwen2.5、SmolLM2、ViT-B/16、DeiT-Tiny和Swin-Tiny等模型。实验结果表明:

  • 性能提升:与随机、幅度、静态显著性和预算贪婪选择方法相比,损伤感知多臂老虎机方法在语言模型对比中通常能减少性能退化。
  • 统计显著性:在28个比较中,有23个自举置信区间排除了零,11个配对测试的p值小于0.05,6个在Benjamini-Hochberg校正后q值小于0.05。

行业影响与开发者建议

这项研究为Transformer模型的高效压缩提供了新的思路,尤其适用于资源受限的应用场景,如移动设备和边缘计算。开发者可以参考以下建议:

  • 应用场景选择:在需要高效推理和低内存占用的场景中,优先考虑使用损伤感知剪枝方法。
  • 模型选择:对于视觉和语言Transformer模型,该方法均表现出色,开发者可以根据具体需求选择合适的模型进行剪枝。
  • 持续优化:结合其他压缩技术,如量化、蒸馏等,进一步提升模型性能。

消息来源:ArXiv AI (cs.AI) (2026-09-09)

—— 完 ——

主题标签: #Transformer #剪枝 #多臂老虎机 #模型压缩 #arXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…