arXiv提出MELSTM：基于运动等变性的卷积LSTM模型革新序列数据建模

摘要：arXiv发布了一种名为MELSTM（Motion Equivariant Convolutional LSTM）的新型神经网络架构，通过将运动等变性引入卷积LSTM模型，显著提升了序列数据建模的准确性和泛化能力。该方法将序列视为随时间变化的场，将运动视为规范对称性，并利用速度模型作为规范场，从而实现对任意运动的等变性。在未来帧预测、运动可见数字分类和相机抖动下的动作识别等任务中，MELSTM相较于传统卷积LSTM和流等变模型表现出更高的精度、更强的泛化能力以及更低的计算开销。

---

技术机制剖析

MELSTM的核心创新在于将运动等变性引入卷积LSTM模型中。传统循环神经网络（RNN）无法对运动等变性进行建模，因为它们的记忆机制是静态的，而输入数据中的运动会导致信息丢失。为了解决这一问题，MELSTM将序列数据视为随时间变化的场，并引入速度模型作为规范场，从而实现对任意运动的等变性。具体来说，MELSTM通过以下步骤实现运动等变性：

1. 速度模型构建：MELSTM首先构建一个速度模型，用于估计序列中每个时间步的速度。
2. 规范场应用：将速度模型作为规范场，应用到卷积LSTM的每个时间步中，确保模型对运动等变性保持不变。
3. 动态更新机制：通过动态更新机制，MELSTM能够自适应地调整速度模型，以适应不同类型的运动。

工程权衡与实测表现

MELSTM在多个基准测试中表现出色：

• 未来帧预测：在多个数据集上，MELSTM的预测精度比传统卷积LSTM和流等变模型高出10%以上。
• 运动可见输入分类：在仅通过运动信息可见的数字分类任务中，MELSTM的准确率比基线模型高出15%。
• 相机抖动下的动作识别：在相机抖动环境下，MELSTM的动作识别准确率比基线模型高出20%。

此外，MELSTM在计算开销方面也具有优势，其状态规模仅为流等变模型的1/3，这使得MELSTM在资源受限的环境中更具实用性。

开发者落地与部署建议

MELSTM的等变性特性使其在处理具有运动特性的序列数据时具有显著优势。以下是一些建议：

• 视频分析：在视频分析任务中，MELSTM可以更好地处理相机运动和物体运动，提升分析精度。
• 机器人导航：在机器人导航任务中，MELSTM可以更准确地预测环境变化，提升导航效率。
• 动作识别：在动作识别任务中，MELSTM可以更好地应对相机抖动和物体运动，提升识别准确率。

结论

MELSTM通过引入运动等变性，革新了序列数据建模方法，在多个任务中表现出色，为AI在处理复杂运动数据方面提供了新的思路。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-22)

—— 完 ——

主题标签： #MELSTM 关注 #卷积LSTM 关注 #运动等变性 关注 #序列建模 关注 #arXiv 关注