Jayden Teoh团队提出Soft-MTP：改进多词预测任务的新方法

摘要：Jayden Teoh团队提出了一种名为Soft Multi-Token Prediction (Soft-MTP)的新方法，用于改进现有的多词预测（MTP）技术。Soft-MTP通过提取KL梯度信号并减少噪声残差，显著提升了模型在推测解码和下一词预测任务中的表现。该方法仅需一行代码修改即可实现，且在多个任务中表现出色，被视为一种“无成本”的性能提升方案。

---

技术背景与动机

多词预测（MTP）已成为前沿预训练模型的标准方法，但其性能仍有提升空间。现有MTP方法在梯度计算中存在KL自蒸馏信号与噪声残差的混合问题，这限制了模型在推测解码和下一词预测任务中的表现。

Soft-MTP的核心机制

Soft-MTP通过以下机制解决了上述问题：

1. KL梯度信号提取：Soft-MTP通过KL梯度-恢复技巧，从MTP梯度中提取出纯净的KL自蒸馏信号。
2. 噪声残差减少：通过分离KL信号与噪声残差，Soft-MTP减少了噪声对下一词预测的干扰。
3. 实现简便：该方法仅需在现有MTP实现中增加一行代码： h_ntp += h_mtp.detach() - h_mtp。

工程权衡与实测表现

• 优势：Soft-MTP无需重新训练模型，只需少量代码修改即可实现性能提升。实验表明，该方法在多个任务中均能带来显著改进。
• 局限性：尽管Soft-MTP在大多数情况下有效，但在极端噪声环境下，其性能提升可能有限。
• 计算开销：由于仅需少量额外计算，Soft-MTP对整体训练和推理速度的影响可以忽略不计。

开发者建议

对于正在使用MTP的开发者，Soft-MTP提供了一种简便且高效的改进方案。建议在现有MTP实现中集成Soft-MTP，以提升模型性能。同时，建议在噪声较大的环境中进行进一步测试，以评估Soft-MTP的鲁棒性。

结论

Soft-MTP是一种创新的多词预测改进方法，通过提取KL梯度信号并减少噪声残差，显著提升了模型在多个任务中的表现。其简便的实现方式使其成为MTP用户的理想选择。

---

消息来源：Reddit r/MachineLearning (2026-10-30)

—— 完 ——

主题标签： #多词预测 关注 #KL梯度 关注 #模型改进 关注 #预训练 关注 #Soft-MTP 关注