Muon-RT复用教师轨迹，免去LLM自蒸馏动量缓冲

摘要：Muon-RT面向大语言模型自蒸馏训练，巧妙复用EMA教师与学生之间的权重位移，替代Muon原有的独立动量缓冲区。该位移被证明可近似编码历史更新的指数加权轨迹；方法进一步移除径向分量、执行谱归一化，并在Newton-Schulz正交化后将轨迹与当前梯度混合。Qwen2.5-7B-Instruct的SDFT实验中，相比AdamW平均准确率提升2.6个百分点、持久训练内存减少42%；相比带动量的Muon提升5.4个百分点、内存减少27%。其价值在于以更低状态显存换取更优训练质量，但结论仍需在更大模型和更多优化器基线上验证。

---

核心思路：不再为Muon单独维护动量历史

Muon-RT针对的是大语言模型自蒸馏中的持久训练状态开销。EMA教师模型本身已经随学生更新而缓慢变化，因此“教师权重减去学生权重”包含了历史更新的方向信息。传统Muon仍为隐藏层权重矩阵保存独立动量缓冲，相当于重复维护一份与更新历史相关但并非完全相同的状态。

Muon-RT直接复用教师与学生之间的位移

[ \Delta_t=\theta_{teacher,t}-\theta_{student,t}, ]

并将其视为动量的替代信号。在局部模型下，论文证明该位移能够编码已应用更新的指数加权历史，同时平滑时间上不相关的噪声。

这一设计首先解决的是优化器状态显存问题，而不是模型参数或激活显存问题。以矩阵参数 (W\in\mathbb{R}^{m\times n}) 为例，完整动量缓冲通常需要额外保存与参数同形状、同精度的一阶状态。如果模型包含大量隐藏权重矩阵，动量缓冲会持续占用高带宽存储；在分布式训练中，它还可能增加优化器状态分片、通信和检查点体积。复用教师位移可以省掉这部分冗余状态，但代价是优化信号受到EMA平滑系数、教师更新频率和教师—学生同步方式的约束。

更新机制：径向剔除、谱归一化与梯度混合

Muon-RT并未把教师位移直接当作更新方向，而是进行了三步处理。

1. 移除径向分量

若位移 (\Delta) 与当前参数或梯度方向高度平行，直接沿该方向移动可能主要改变参数尺度，而非改善优化几何。方法先消除这种与目标方向耦合较弱的径向分量，避免教师轨迹把更新推向与当前梯度冲突的子空间。

2. 执行谱归一化

矩阵优化器面对奇异值尺度差异时，不同方向会获得不均衡的更新幅度。Muon-RT对位移执行谱归一化，使方向性信息不再由少数大奇异值主导。对深层权重矩阵而言，这有助于稳定不同谱方向上的步长，但也意味着算法不再是简单的位移复用，而是包含额外矩阵分解、谱操作或等价数值例程。

3. 与当前梯度融合

教师—学生位移提供跨时间的历史信息，当前梯度则反映本批次即时信号。Muon-RT先对当前梯度执行Newton-Schulz正交化，再与归一化后的历史位移混合。这样既保留动量式的噪声平滑效果，又避免更新完全受滞后的教师状态支配。

从优化器视角看，其核心目标是以较少的持久状态换取更稳定的矩阵更新。代价是每步需要维护EMA教师、计算教师—学生差值，并执行额外的谱处理与混合操作。论文摘要没有披露这些额外操作相对动量缓冲更新的实际吞吐损失，因此“省显存”不能直接等同于“训练更快”。

理论依据：目标误差界可线性收缩

在明确的正则性与对齐假设下，论文建立了期望目标差上界的线性收缩结果，并将其收敛到残差误差水平。该结论说明，复用教师轨迹在特定条件下可以形成有效的历史平滑机制，而不是任意状态量的经验替代。

不过，这类保证依赖教师—学生参数对齐、梯度与历史位移的局部关系以及步长条件。EMA教师更新过快时，历史信息可能被近期噪声主导；更新过慢时，轨迹又会滞后。残差误差水平还取决于正则项和局部模型近似质量，因此不能把理论界直接解释为任意任务上的全局收敛保证。

实验表现：准确率与持久内存同步改善

论文在两种自蒸馏场景中测试Muon-RT。

SDFT：Qwen2.5-7B-Instruct

在Self-Distillation Fine-Tuning任务中，Muon-RT相比AdamW平均准确率提升2.6个百分点，同时持久训练内存减少42%；相比带独立动量缓冲的Muon，平均准确率提升5.4个百分点，持久内存减少27%。

这组结果的工程意义在于，Muon-RT并未通过降低模型规模或减少训练步数换取内存收益，而是在相同自蒸馏框架下同时改善任务表现与状态存储。不过，对比对象主要是AdamW和标准Muon，摘要未说明是否覆盖其他现代矩阵优化器、是否使用相同超参数预算，以及准确率提升是否跨多个随机种子稳定。

SDPO：Olmo-3-7B-Instruct

在Self-Distillation Policy Optimization实验中，Muon-RT相比AdamW平均准确率提升2.0个百分点，说明该方法不只适用于监督式微调，也可用于策略优化流程。

但当前材料没有给出SDPO相对带动量Muon的对照，也没有披露强化学习场景中的奖励方差、训练稳定性、采样成本和收敛速度。对于RL训练，这类指标往往比最终平均准确率更直接地决定实际收益。

工程权衡：省的是优化器状态，不是全部显存

Muon-RT最明确的收益是降低持久训练内存。其实际价值取决于收益与开销的净差：

• 显存收益：隐藏层矩阵无需保存独立的一阶动量缓冲，模型越大、参数越密，节省通常越明显。
• 计算成本：每个更新步骤需要计算教师—学生位移，并完成去径向、谱归一化、Newton-Schulz正交化和梯度混合。
• 状态一致性：分布式训练必须同步教师权重，并保证所有参数副本以相同方式更新；异步EMA或延迟同步会改变轨迹所编码的历史。
• 检查点与恢复：优化器状态减少通常能缩小检查点和恢复成本，但EMA教师本身仍需保存或重建。
• 超参数敏感性：EMA衰减率、教师更新频率、位移混合比例、谱归一化实现和目标对齐条件可能共同决定效果。

因此，它更像是面向大规模后训练和持续微调的内存优化方案，而不是对所有训练任务都无条件更优的替代优化器。

开发者落地建议

工程团队复现时应至少记录以下指标：

1. 峰值与持久显存：区分参数、梯度、EMA教师、优化器状态和激活显存，避免只报告总显存下降。
2. 每步训练时间：单独测量教师更新、位移计算和谱操作开销，计算显存节省是否被额外计算抵消。
3. 多随机种子结果：尤其要验证2.0至5.4个百分点的准确率差异是否稳定。
4. 同预算对比：对AdamW、标准Muon及其他矩阵优化器使用一致的学习率搜索范围、训练步数和评测协议。
5. 训练恢复一致性：测试检查点恢复后EMA教师状态是否被正确还原。
6. 规模化验证：优先在7B以上模型、LoRA与全参数微调、持续预训练和RL后训练等不同场景交叉测试。

结论

Muon-RT的核心贡献不是提出新的基础模型，而是重新利用自蒸馏训练中已经存在的EMA教师状态。它把教师—学生位移转化为可复用的动量替代信号，并通过矩阵几何处理抑制历史噪声，在减少优化器持久内存的同时提高部分任务的平均准确率。

这项工作值得关注的地方，在于它挑战了“优化器必须独立保存一份动量”的默认工程假设。不过，当前证据仍集中在约7B规模模型和有限基线，真正决定落地价值的指标将是端到端训练吞吐、扩展到更大模型后的收益稳定性，以及在分布式训练和策略优化中的复现结果。

---

消息来源：Hugging Face Daily Papers (2026-10-30)

—— 完 ——

主题标签： #Muon-RT 关注 #Muon优化器 关注 #LLM自蒸馏 关注 #EMA教师 关注 #训练内存优化 关注