研究揭示科学基础模型在仿真到现实迁移中的灾难性遗忘问题

摘要：arXiv最新研究深入探讨了科学基础模型（SciFM）在仿真到现实迁移过程中面临的灾难性遗忘问题。以Walrus-1.3B模型为例，研究发现，在仿真数据上的微调会迅速降低模型在原始训练数据集上的表现，且进一步适应真实数据会加剧这一问题。研究提出，通过在真实数据微调过程中重放少量仿真数据（1%），可以有效恢复大部分丢失的仿真性能，同时保持对实验动态的有效适应。这一发现为解决SciFM在实际应用中的知识保留问题提供了重要参考。

---

研究背景与动机

科学基础模型（SciFM）在处理偏微分方程（PDEs）等复杂科学问题上展现了强大的能力。然而，与所有神经网络架构一样，SciFM在适应新任务时面临灾难性遗忘的风险，即对新任务的适应会削弱模型对先前知识的记忆。本研究以Walrus-1.3B模型为例，探讨了SciFM在仿真到现实迁移过程中遇到的灾难性遗忘问题。

研究方法与发现

研究采用两阶段迁移方法：首先在圆柱体周围仿真流动数据上进行微调，然后进一步适应相同系统的实验数据。结果表明，仿真数据上的微调会迅速降低模型在原始训练数据集上的表现，单步误差在20个epoch后增加了35倍。进一步适应真实数据后，模型在仿真任务上的表现进一步下降。

研究分析了导致遗忘的潜在因素，包括数据集依赖性和任务表示相似性，并提出了一种轻量级的重放策略：在真实数据微调过程中重放少量（1%）仿真数据。这一策略能够恢复大部分丢失的仿真性能，同时保持对实验动态的有效适应。

工程权衡与实际应用

1. 重放策略的效率：重放少量数据是一种计算成本较低且有效的解决方案，避免了完全重训带来的高昂开销。
2. 适用场景：该方法特别适用于资源受限但对知识保留有较高要求的场景，如科学计算和工程仿真。
3. 局限性：重放策略需要预先存储部分仿真数据，对存储空间有一定需求。此外，如何选择最优的重放数据比例仍需进一步研究。

开发者建议

1. 数据管理：在设计SciFM应用时，建议保留部分关键仿真数据用于后续微调。
2. 模型评估：在迁移学习过程中，定期评估模型在原始任务上的表现，以监测遗忘程度。
3. 优化策略：结合重放策略与其他正则化方法（如L2正则化、Dropout）以进一步提升知识保留效果。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-02)

—— 完 ——

主题标签： #灾难性遗忘 关注 #科学基础模型 关注 #仿真到现实迁移 关注 #微调 关注 #重放策略 关注