Apertus-8B连续学习四夜保留90.7%新闻记忆

摘要：Fintan Labs对Apertus-8B进行为期四天的真实新闻连续学习实验：每晚将当天新闻写入权重，次晨在无提示条件下复测此前所有日期。结果显示，首日知识在四轮更新后仍保留90.7%，明显高于逐夜LoRA基线的26.7%；GSM8K得分69.2%，接近原始模型的69.6%，而LoRA降至4.4%。实验采用预先设定的通过阈值、跨夜复习和严格评分，并公开问答与基准，但核心方法尚未公开，且重复新闻仍造成约30%的阶段性遗忘，因此结果需要独立复现与更长周期验证。

---

四轮夜间更新后，早期新闻知识仍被保留

Fintan Labs使用Swiss AI的Apertus-8B完成了一个持续四晚的真实新闻学习实验。模型每天夜间吸收当天新闻，次晨在提示中不提供外部资料，依次回答此前各日的问题。与只学习一天相比，真正困难的是后续更新造成的灾难性遗忘：LoRA基线在第四晚后只保留26.7%的首日成绩，GSM8K也降至4.4%。

实验方法的核心结果如下：

| 指标 | 连续学习模型 | 逐夜LoRA基线 | 原始Apertus-8B | |---|---:|---:|---:| | 首日知识，四晚后 | 90.7% | 26.7% | — | | GSM8K，四晚后 | 69.2% | 4.4% | 69.6% | | 第二、三日相关知识 | 约70% | — | — |

这里最值得关注的并非“模型记住了新闻”这一表面结果，而是连续更新后通用推理能力是否被破坏。GSM8K仅比原始模型低0.4个百分点，说明至少在这组实验中，新闻写入没有造成明显的数学推理回退；相反，逐夜更新LoRA同时遗忘旧知识和通用能力。

实验如何控制评测泄漏

作者称，每晚问题的通过阈值会在对应问题生成前写入；次日早晨由另一个模型生成295道题，再交给严格评分器判定。这个设计试图降低“看完答案后改评分标准”的空间，同时公开了问答数据和交互式基准，让读者能够检查题目是否存在措辞泄漏、答案歧义或模板化问题。

不过，题目由另一个模型生成仍不是完全独立的人工评测。生成模型可能继承相似训练分布中的新闻知识或常见表述，封闭评分器也可能奖励表面关键词而非真正回忆。后续复现应固定数据快照，使用人工命题与人工复核，并对不同生成器、提示模板及评分器进行交叉测试。

连续学习可能面临什么机制

资料没有公开核心方法，因此不能确认其具体架构。更合理的解释是，该方法在连续权重更新时显式抑制对既有能力与早期知识的覆盖，例如通过参数隔离、重要性约束、回放样本或梯度投影降低更新冲突。不同机制会直接影响工程可行性：

• 参数隔离可保留旧能力，但需要额外存储或模块化推理，成本较高。
• 梯度投影可在近似不增加推理开销的情况下缓解覆盖，却需要计算基线参数的二阶或近似敏感度。
• 回放训练实现简单，但若保存原始新闻片段，会带来数据许可、隐私与长期语料维护问题。
• 权重合并或正交更新适合持续扩展任务，但多个时间步累积后仍可能出现参数漂移。

LoRA基线的崩溃也提示，单纯连续叠加低秩适配器并不足以处理多日更新。LoRA的低秩子空间容量有限，持续写入相近或冲突事实可能覆盖旧方向；此外，逐夜重训的数据混合、采样和优化设置若缺乏约束，也可能让模型逐渐偏离基础模型的能力分布。

重复新闻暴露了尚未解决的语义干扰

第二日和第三日相关问题在后续新闻再次出现时，下降至约70%。这说明结果并不完全符合“参数中稳定保存了独立事实”的理想模型：同一事件在后续报道中以不同措辞、摘要或事实增量出现时，模型可能发生语义层面的覆盖和冲突。

传统训练数据通常假设样本独立且分布稳定，而新闻流具有三个典型特征：事件持续更新、同一事实多次改写、旧事实会因新证据而失效。生产系统不能只保存“某天学到什么”，还需要维护事件版本、时间范围、来源和置信度。工程上可采用：

1. 为事实设置稳定事件ID和版本号；
2. 将新增证据与旧事实并列保存，而非直接覆盖；
3. 在检索和问答阶段显式提供当前有效版本；
4. 用时间切分测试评估过期知识能否正确失效；
5. 对冲突事件建立置信度和来源优先级。

当前证据的边界

这仍是作者自报的短周期实验，核心方法尚未公开，无法审计训练数据、计算量、显存需求或复现实验。四天、四组新闻和295道生成题不足以覆盖数周乃至数月的连续更新，也不能充分证明对其他模型架构同样有效。

此外，新闻问答容易受到检索捷径影响。如果某个问题与训练语料高度相似，正确答案可能来自表面模式匹配而非可泛化的记忆。更有说服力的测试应加入：

• 未出现过的实体组合与改写问题；
• 针对同一事件但答案发生变化的版本测试；
• 对早期答案采用不同表述的语义等价题；
• 与模型训练语料存在重叠关系的新闻；
• 长时间训练后的算力、吞吐和存储增长曲线。

开发者应如何落地

如果目标是每天吸收新闻并持续提供服务，当前更稳妥的架构不是立即对生产模型执行多轮权重写入，而是将易变知识与稳定能力分层：保留基础模型参数，将时效事实放入带版本控制的外部记忆或检索索引，再通过受控更新训练模型学习新事实。

对于必须写入权重的场景，可先从单一模型、单一日志流和可回滚检查点开始，同时记录每轮训练后的通用能力回退、旧知识召回率、事实过期率与更新延迟。任何“连续学习不掉能力”的结论，都应在至少一个独立通用基准、多个时间窗口和人工审计集上复验。

这项实验最清晰的工程信号是：持续更新模型的核心风险并不只是遗忘新知识，而是同时破坏旧知识和通用推理能力。Apertus-8B的结果展示了较好的短期可能性，但在方法公开、长期复现和成本披露之前，它更像有价值的实验信号，而不是可直接部署的解决方案。

---

消息来源：Reddit r/MachineLearning (2026-11-07)

—— 完 ——

主题标签： #Apertus-8B 关注 #持续学习 关注 #灾难性遗忘 关注 #LoRA 关注 #新闻问答 关注