ArXiv提出严格因果流式视频异常检测器：实时处理与高效硬件性能验证

摘要：ArXiv团队提出了一种全新的严格因果流式视频异常检测器，其核心特点是每帧以O(1)时间和内存更新固定大小的状态，不依赖任何前瞻或剪辑缓冲机制。该检测器采用对角线性状态空间递归结构，并引入输入和状态依赖的衰减门，通过冻结视觉骨干网络上的因果下一嵌入预测进行自监督训练。研究团队推导了递归衰减谱与检测延迟及可检测最短异常之间的关系，并在UCSD Ped2和CUHK Avenue数据集上进行了验证。实验结果表明，该方法在Apple M3 Pro硬件上的端到端延迟和吞吐量表现优异，每帧处理时间分别为0.74毫秒和0.77毫秒（超过1300 FPS）。尽管初始配置下在Ped2和Avenue数据集上的帧级AUC分别为67.9%和70.2%，低于现有非因果SSM基线，但该方法展示了在边缘硬件上实现高效实时异常检测的潜力。

---

核心突破

ArXiv团队提出了一种创新的严格因果流式视频异常检测器，其主要特点包括：

• 实时处理能力：每帧以O(1)时间和内存更新固定大小的状态，不依赖任何前瞻或剪辑缓冲机制。
• 高效硬件性能：在Apple M3 Pro硬件上实现了每帧0.74毫秒和0.77毫秒的端到端延迟和吞吐量（超过1300 FPS）。
• 理论创新：推导了递归衰减谱与检测延迟及可检测最短异常之间的关系，并通过实验验证。

技术细节

• 模型架构：采用对角线性状态空间递归结构，并引入输入和状态依赖的衰减门。
• 训练方法：通过冻结视觉骨干网络上的因果下一嵌入预测进行自监督训练。
• 实验验证：在UCSD Ped2和CUHK Avenue数据集上进行了验证，初始配置下的帧级AUC分别为67.9%和70.2%，低于现有非因果SSM基线，但展示了在边缘硬件上的高效实时处理能力。

行业影响

• 边缘AI应用：该方法展示了在资源受限的边缘设备上实现高效实时异常检测的潜力，适用于智能监控、自动驾驶等领域。
• 硬件优化：研究团队直接测量了硬件性能，而非依赖模拟GPU数据，为AI模型在真实硬件环境中的部署提供了重要参考。

开发者建议

• 硬件适配：开发者应关注模型在不同硬件平台上的性能表现，优化模型以适应特定硬件架构。
• 实时性优先：在设计AI系统时，应优先考虑实时处理能力，特别是在需要快速响应的应用场景中。

未来方向

• 准确性提升：未来研究应致力于缩小与现有非因果SSM基线在准确性上的差距。
• 多场景评估：扩展评估到更大规模的数据集，以验证方法在不同场景下的通用性和鲁棒性。

---

消息来源：ArXiv cs.AI (2026-08-25)

—— 完 ——

主题标签： #ArXiv 关注 #视频异常检测 关注 #实时处理 关注 #边缘AI 关注 #硬件性能 关注