ArXiv提出sLoTh框架:革新稀疏事件驱动Transformer的持续学习能力
摘要:ArXiv团队提出了一种名为sLoTh的新框架,旨在解决稀疏事件驱动(脉冲)视觉Transformer在持续学习中的关键挑战。sLoTh通过冻结模型主干,仅允许低秩注意力更新(seLoRA)和共享神经元阈值调制进行参数更新,从而在保持高效能的同时实现了参数高效的持续学习。实验表明,该方法在多个基准数据集上实现了与常规方法竞争的性能,同时将能耗降低了约6.5倍,为边缘AI和机器人应用提供了新的技术路径。
背景与挑战
在动态环境中,机器人与边缘智能系统需要持续适应新数据,同时保留之前学习到的知识,这对模型的持续学习能力提出了严格要求。然而,传统的视觉Transformer依赖密集计算,在实际部署中成本高昂,难以满足资源受限场景的需求。稀疏事件驱动的视觉Transformer虽然提供了高效的基于事件计算能力,但其持续学习能力尚未得到充分探索。
sLoTh框架概述
sLoTh是一种针对稀疏事件驱动(脉冲)视觉Transformer的参数高效持续学习框架。其核心创新点包括:
- 主干冻结与低秩更新:通过冻结模型主干,仅允许低秩注意力更新(seLoRA)进行参数调整。
- 共享神经元阈值调制:引入共享神经元阈值调制机制,进一步减少需要更新的参数数量。
- 无重放学习:通过仅更新不到1%的模型参数,实现了无需重放缓冲区的持续学习。
实验结果
sLoTh在CIFAR-100、Tiny-ImageNet、ImageNet-100和ImageNet-R等基准数据集上进行了测试,涵盖多达100个任务。实验结果表明:
- 在类增量学习和在线持续学习中,sLoTh实现了与常规方法竞争的性能。
- 能耗相较于传统密集视觉Transformer降低了约6.5倍。
技术亮点
- 参数高效性:通过限制更新参数数量,显著降低了计算和存储成本。
- 低能耗:在保持高性能的同时,大幅降低了能耗,适合边缘设备部署。
- 灵活性:框架设计灵活,可扩展至其他类型的Transformer架构。
行业影响
sLoTh框架为边缘AI和机器人应用中的持续学习提供了新的解决方案。其高效能、低能耗的特点使其在资源受限的环境中具有广泛的应用潜力,例如自动驾驶、智能监控和物联网设备等。
开发者建议
- 模型适配:开发者可以尝试将sLoTh框架适配到其他类型的Transformer架构,以探索其在不同领域的应用潜力。
- 性能优化:进一步优化seLoRA和共享神经元阈值调制机制,以提升模型的适应速度和精度。
- 应用场景拓展:探索sLoTh在多模态学习、跨任务迁移等领域的应用,以扩展其适用范围。
—— 完 ——消息来源:ArXiv cs.CV (2026-08-27)
主题标签: #稀疏Transformer #持续学习 #边缘AI #低秩适配 #参数高效
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区