MADSNet以多尺度轴向脉冲注意力提升脉冲相机重建

摘要：MADSNet是一种面向脉冲相机图像重建的层次化脉冲神经网络，通过多尺度脉冲卷积、轴向脉冲注意力和密集脉冲瓶颈，在保持事件稀疏计算特性的同时增强长程依赖建模与特征复用。论文在SREDS基准上较SSIR提升4.3 dB PSNR，较Spk2ImgNet提升1.94 dB，并报告约15倍更低延迟和约1/40的估算能耗。其工程价值在于以更少计算和时间步完成灰度及彩色强度重建，但结果仍需结合完整消融、真实传感器数据与实际芯片能耗验证。

---

核心结果

MADSNet（Multi-scale Axial-attentive Dense Spiking Network）面向脉冲相机输出的高速二值脉冲流，重建连续灰度或彩色强度图像。论文在SREDS数据集上报告：MADSNet较SSIR提升4.3 dB PSNR，较Spk2ImgNet提升1.94 dB；相对Spk2ImgNet，延迟约降低至1/15，估算能耗约为其1/40。

脉冲相机的优势在于用异步事件替代传统帧曝光，时间分辨率高、冗余低。但二值脉冲流不直接记录绝对亮度，重建任务需要推断场景强度与运动状态。传统SNN虽然采用加法型、事件驱动计算，却常因网络较浅和全局信息建模不足，在PSNR等指标上落后于ANN。MADSNet的核心价值是证明脉冲域中的架构设计不仅能节省计算，也可以缩小重建质量差距。

架构机制

MADSNet采用层次化脉冲编码器—解码器。

多尺度脉冲特征提取

网络首先通过多尺度脉冲stem并行提取早期特征。不同卷积核对应不同的局部感受野，可分别捕获边缘、纹理和短时结构变化。对高速场景而言，这种并行感受野比单一尺度卷积更容易兼顾尖峰边缘与较平滑的亮度区域，同时允许前层保持稀疏脉冲活动。

轴向脉冲注意力

轴向注意力将二维图像的长程依赖拆分为水平与垂直两个方向处理，而不是在完整空间上计算昂贵的全局自注意力。若特征图尺寸为H×W、通道数为C，标准全局注意力的交互项可扩展至O((HW)²)，而轴向分解主要计算O(HW²)与O(H²W)的两组注意力项。

这种分解减少注意力矩阵规模，并在两个方向独立累积远距离信息。但它并非严格等价于完整二维全局注意力：跨方向依赖需要由后续层重新组合，对倾斜结构、细长物体和非轴对齐运动也可能不够理想。

密集脉冲瓶颈

密集连接用于提高特征复用。较早层的低层特征可在后续多个阶段被重新引用，缓解深层脉冲网络中梯度与有效信息衰减的问题，同时避免仅依赖连续深层变换逐级放大特征。其工程代价是早期特征需要跨层保留，会增加状态存储和内存带宽压力；论文中的“15倍更低延迟”是否包含特征缓存和状态搬运开销，需要结合实现细节确认。

脉冲到连续解码

MADSNet不是在脉冲域直接输出图像，而是先用解码器将脉冲表示转换为连续强度特征，再预测像素强度。这一设计把传感器事件带来的二值稀疏性与最终图像的连续灰度需求分离，比强行用二值激活表示输出更适合重建任务。

性能与评测边界

4.3 dB和1.94 dB的PSNR增益具有实际意义，因为PSNR反映重建像素与真值之间的均方误差。例如在相同峰值下，4.3 dB约对应约1.46倍的RMSE降幅，1.94 dB则对应约1.24倍；但实际视觉收益仍取决于误差是否集中在高频纹理、边缘和高速运动区域。

不过，当前信息不足以确认以下关键因素：

• SREDS各测试划分是否与训练数据严格隔离；
• 对比模型是否采用相同输入时间窗、分辨率和训练预算；
• PSNR之外的SSIM、LPIPS及高速运动伪影是否同步改善；
• “1/40能耗”是基于操作数估算，还是由真实神经形态芯片测得；
• 颜色重建是否使用逐通道独立模型，以及跨传感器泛化能力如何。

脉冲网络的理论能耗优势只有在部署到支持事件驱动、稀疏算子或神经形态加速器的硬件上才可能兑现。若在普通GPU上通过密集张量仿真执行脉冲更新，时间步累加和状态读写可能抵消论文中的能耗优势。

工程权衡

MADSNet的主要收益是降低重建延迟，并在保持脉冲域处理的同时提高质量。它并不天然取代传统帧相机：在低照度、强噪声、极端曝光变化或纹理不足场景中，脉冲传感器的事件分布也会受到影响，训练数据覆盖不足可能导致重建伪影。

密集连接增加内存占用，轴向注意力虽然避免完整二维注意力，却仍可能形成O(HW²)或O(H²W)的高阶计算。部署前需要测量峰值显存、带宽、时间步长度和批处理规模，而不能只依据MACs或理论能耗判断实际收益。

开发者落地建议

1. 先复现灰度SREDS基线，统一训练轮数、裁剪尺寸、时间步和PSNR计算协议。
2. 对轴向注意力、密集瓶颈和连续解码器分别做消融，验证增益是否来自有效架构，而非训练设置差异。
3. 在真实脉冲相机数据上测试跨设备泛化，并重点评估快速运动边缘、闪烁和噪声条件下的伪影。
4. 若使用GPU仿真，分别统计模型前向时间、脉冲状态搬运和峰值显存；若使用神经形态芯片，再核对实际功耗而非采用估算值。
5. 将PSNR与SSIM、LPIPS、时间分辨率和运动区域误差结合，避免仅凭单一dB指标判断工程可用性。

总体而言，MADSNet的价值不在于重新定义脉冲相机，而在于证明多尺度表示、轴向注意力和密集特征复用可以在脉冲计算框架内同时提升重建质量与效率。其能否成为高速视觉基础设施，仍取决于真实硬件能效、跨传感器鲁棒性以及公开实现的可复现程度。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-11)

—— 完 ——

主题标签： #脉冲神经网络 关注 #脉冲相机 关注 #轴向注意力 关注 #图像重建 关注 #神经形态计算 关注