智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #稀疏Transformer #持续学习 #边缘AI #低秩适配 #参数高效

ArXiv提出sLoTh框架:革新稀疏事件驱动Transformer的持续学习能力

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 2 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为sLoTh的新框架,旨在解决稀疏事件驱动(脉冲)视觉Transformer在持续学习中的关键挑战。sLoTh通过冻结模型主干,仅允许低秩注意力更新(seLoRA)和共享神经元阈值调制进行参数更新,从而在保持高效能的同时实现了参数高效的持续学习。实验表明,该方法在多个基准数据集上实现了与常规方法竞争的性能,同时将能耗降低了约6.5倍,为边缘AI和机器人应用提供了新的技术路径。


背景与挑战

在动态环境中,机器人与边缘智能系统需要持续适应新数据,同时保留之前学习到的知识,这对模型的持续学习能力提出了严格要求。然而,传统的视觉Transformer依赖密集计算,在实际部署中成本高昂,难以满足资源受限场景的需求。稀疏事件驱动的视觉Transformer虽然提供了高效的基于事件计算能力,但其持续学习能力尚未得到充分探索。

sLoTh框架概述

sLoTh是一种针对稀疏事件驱动(脉冲)视觉Transformer的参数高效持续学习框架。其核心创新点包括:

  1. 主干冻结与低秩更新:通过冻结模型主干,仅允许低秩注意力更新(seLoRA)进行参数调整。
  2. 共享神经元阈值调制:引入共享神经元阈值调制机制,进一步减少需要更新的参数数量。
  3. 无重放学习:通过仅更新不到1%的模型参数,实现了无需重放缓冲区的持续学习。

实验结果

sLoTh在CIFAR-100、Tiny-ImageNet、ImageNet-100和ImageNet-R等基准数据集上进行了测试,涵盖多达100个任务。实验结果表明:

  • 在类增量学习和在线持续学习中,sLoTh实现了与常规方法竞争的性能。
  • 能耗相较于传统密集视觉Transformer降低了约6.5倍。

技术亮点

  • 参数高效性:通过限制更新参数数量,显著降低了计算和存储成本。
  • 低能耗:在保持高性能的同时,大幅降低了能耗,适合边缘设备部署。
  • 灵活性:框架设计灵活,可扩展至其他类型的Transformer架构。

行业影响

sLoTh框架为边缘AI和机器人应用中的持续学习提供了新的解决方案。其高效能、低能耗的特点使其在资源受限的环境中具有广泛的应用潜力,例如自动驾驶、智能监控和物联网设备等。

开发者建议

  • 模型适配:开发者可以尝试将sLoTh框架适配到其他类型的Transformer架构,以探索其在不同领域的应用潜力。
  • 性能优化:进一步优化seLoRA和共享神经元阈值调制机制,以提升模型的适应速度和精度。
  • 应用场景拓展:探索sLoTh在多模态学习、跨任务迁移等领域的应用,以扩展其适用范围。

消息来源:ArXiv cs.CV (2026-08-27)

—— 完 ——

主题标签: #稀疏Transformer #持续学习 #边缘AI #低秩适配 #参数高效

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…