arXiv发布LOTUS：基于时间序列预测的预训练新方法

摘要：arXiv发布了一项关于时间序列语言模型的新研究，提出了一种名为LOTUS的预训练方法，通过预测未来时间序列信号来增强模型对时间信息的保留能力。LOTUS采用了一种新颖的“预测基础”原则，将时间序列数据分割为不重叠的片段并映射到LLM嵌入空间，同时结合时频特征进行预测。该方法在多个基准测试中表现优异，显著提升了模型对时间序列数据的理解和预测能力。

---

技术机制剖析

LOTUS的核心突破在于其“预测基础”预训练原则，该方法通过以下步骤实现：

1. 时间序列分割与映射：将时间序列数据分割为不重叠的片段，并将其映射到LLM的嵌入空间。这种方法确保了模型能够捕捉到时间序列中的局部特征。

2. 时频特征融合：为了同时捕捉时间变化和周期性模式，LOTUS引入了时频特征表示，将原始时间序列片段与其频谱表示相结合，再映射到LLM嵌入空间。

3. 预测任务驱动：模型通过预测下一个时间片段来训练，这促使模型学习到的表示能够保留时间信息。这种方法不仅增强了模型的预测能力，还使其能够更好地理解时间序列的动态特性。

工程权衡与实测表现

• 优势：

  • 高效性：LOTUS在多个基准测试中表现出色，所需的可训练参数较少，显著降低了计算成本。
  • 性能提升：在TSRBench基准测试中，LOTUS的平均准确率达到59.91%，比最强的基线方法高出3.36%。
  • 通用性：该方法适用于多种语言模型骨干网络，展示了其广泛的适用性。

• 局限性：

  • 数据依赖性：LOTUS的性能高度依赖于时间序列数据的质量和多样性，对于噪声数据或异常值较多的数据集，其表现可能受到影响。
  • 计算资源需求：尽管可训练参数较少，但时频特征融合和预测任务驱动仍需要一定的计算资源，尤其是在处理大规模数据集时。

开发者落地与部署建议

对于开发者而言，LOTUS提供了一种新的时间序列预训练方法，具有以下优势：

• 易于集成：LOTUS可以与现有的LLM架构无缝集成，开发者可以快速将其应用于时间序列相关的任务中。
• 性能优化：通过引入时频特征表示，开发者可以进一步优化模型在复杂时间序列数据上的表现。
• 资源高效：由于其高效性，LOTUS特别适合资源受限的应用场景，如边缘计算和移动设备。

建议开发者根据具体应用场景调整模型参数，并结合数据增强技术来提升模型在噪声数据上的鲁棒性。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-15)

—— 完 ——

主题标签： #时间序列 关注 #预训练 关注 #LLM 关注 #预测模型 关注 #arXiv 关注