冻结预测模型分类评测：大模型预训练收益不敌强基线

摘要：这项受控基准研究评估 Reverso 与 Chronos-Bolt 作为冻结特征提取器在 MONSTER 六个时间序列数据集上的分类能力，并设置随机权重模型及四种非预训练分类器作为对照。预训练相对随机初始化在六个数据集中的五个上带来最高 23 个百分点的提升，但冻结表示在 17 个实验设置中均未战胜最强任务专用基线：15 次落后、2 次持平。恢复幅度信息可缩小部分差距，而微调和预测误差特征未能补齐差距，说明“基础模型表征优于传统分类器”的判断必须加入强基线与随机权重对照。

---

核心结论

Reverso 与 Chronos-Bolt 的预训练参数确实携带可利用信息，但这种信息不足以让冻结特征提取方案稳定击败传统时间序列分类器。在 MONSTER 六个大型数据集、1%/10%/100% 三档标注比例形成的 17 组对比中，冻结表示对最强非预训练基线取得 0 胜、15 负、2 平。

这项结果并不否定预训练本身。相对同架构的随机权重版本，两个模型在六个数据集中的五个上提高准确率，最高增幅达 23 个百分点。真正受到质疑的是常见推断：只要基础模型规模更大、采用预训练，其隐藏表示就应自然优于专门为分类设计的模型。

评测设计拆解

研究选择 Reverso 和 Chronos-Bolt 两类预测基础模型，冻结其参数，将中间表示送入分类器。对照组包括四种成熟的时间序列分类方法，以及对预测模型随机初始化后提取的表示。

随机权重控制是关键环节。如果只比较“预训练模型”与传统模型，可以把模型架构、特征维度或分类头容量带来的收益误归因于预训练。加入随机权重组后，研究将两类能力拆开：

• 预训练相对随机初始化：衡量训练数据是否确实编码了可迁移结构；
• 预训练相对强任务基线：衡量这些结构在分类任务上是否具有实用增量。

实验覆盖六个大型数据集，并分别只使用 1%、10% 和 100% 训练标签，目的是检验低样本条件下预训练表征是否更占优势。结果显示，低标注比例并未稳定扭转比较：某些设置可能受益，但总体上仍无法击败最强非预训练方法。

为什么预训练有效，却仍输给传统分类器

预测模型的训练目标与分类目标并不一致。预训练模型主要学习时间序列的局部演化、跨时间依赖和可预测模式，但分类器需要的是类别边界。冻结表示可能具有丰富预测信息，却没有经过面向类别可分性的压缩与判别训练。

强任务基线则会直接优化与最终指标一致的损失，例如类别间隔、经验风险最小化或适合时间序列结构的统计特征。这意味着预训练模型可能在一个更宽泛的预测空间中学到了有用结构，分类头却无法在没有充分数据或参数适配时充分利用这些结构。

随机权重版本则揭示了另一层现象：即使没有学习到时间规律，同一架构的随机投影也可能形成具备非线性表达能力的特征。预训练版本相对它最高提高 23 个百分点，说明训练并非完全无效；但这种优势不足以保证优于针对任务优化过的分类器。

幅度信息与适配策略为何没有完全解决问题

研究进一步恢复振幅信息，以检验归一化或表征提取过程中是否丢失了分类所需的尺度信息。恢复幅度后，部分性能差距得以弥补，说明预处理与表示形式确实会影响结果。但这仍只是部分修复，而非稳定逆转。

微调和预测误差特征也没有闭合差距。前者受制于少样本条件下的过拟合与优化成本；后者虽然把预测任务与分类任务联系起来，但本质上仍依赖预测误差与类别之间的相关性，无法保证对时间序列类别具有普遍判别力。

这意味着工程上不能把“接入基础模型表示并微调”视为默认优于传统管道。更合理的做法是同时保留随机权重、强任务基线、幅度恢复与微调方案，通过验证集选择真正带来统计与计算收益的路径。

工程权衡与落地建议

冻结特征提取器的优势是训练成本低：无需更新基础模型，只需保存表示并训练轻量分类头。这适合标签极少、算力有限或基础模型已经通过 API/检查点部署的场景。但它也有明确限制。

首先，推理链路的成本可能高于直接调用传统分类器。若每次样本都要经过大型预测模型才能取得隐藏状态，端到端延迟、显存占用和批处理复杂度都可能抵消轻量分类头的收益。

其次，表示维度、序列长度与分类头容量之间需要联合选择。更高维表示可能保留更多信息，也会扩大分类器参数量与过拟合风险；长上下文则增加预填充计算和 KV Cache 成本。

最后，本研究只在 MONSTER 的六个数据集、两个预测模型和特定标签比例上验证，不能外推为所有时间序列任务都不适合预训练表示。数据生成机制、类别可预测性和预测—分类任务相关性都会改变结论。

实际部署可按以下顺序执行：

1. 建立强任务基线，包括线性分类器、统计特征方法及成熟时间序列分类器。
2. 使用相同网络结构构造随机权重对照，验证预训练收益是否真实存在。
3. 在 1%、10%、100% 标签设置下分别评估，避免只报告最容易扩标的条件。
4. 分别测试归一化表示、恢复幅度信息、微调分类头和预测误差特征的组合。
5. 将基础模型前向成本纳入比较，计算准确率收益对应的端到端延迟与训练成本。

评测可信度边界

论文的实验控制较完整，尤其是随机权重组与多档标签比例设计，使其结论比单纯的模型排行榜更可信。不过，公开摘要没有给出四种具体基线、分类头结构、数据集领域分布、置信区间以及不同随机种子的稳定性结果。

因此，“冻结表示在 17 个设置中未胜过最强基线”可以作为该受控实验范围内的重要结论，但尚不足以证明预测基础模型对时间序列分类没有价值。更准确的工程判断是：预训练表示不是无需验证的默认升级路径，必须通过强基线、随机权重与完整成本核算证明其增量价值。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-06)

—— 完 ——

主题标签： #时间序列分类 关注 #预测基础模型 关注 #冻结特征 关注 #Chronos-Bolt 关注 #随机权重对照 关注