Hugging Face发布新型在线最优传输算法，革新流匹配模型训练稳定性

摘要：Hugging Face提出了一种新型可扩展的在线熵最优传输（OT）近似算法，用于解决流匹配模型在训练和推理中的稳定性问题。该方法通过构建更大规模的数据源-目标耦合，同时保持传统OT方法的优势，显著降低了随机梯度方差和积分误差。实验表明，该算法在单细胞基因插值流和图像流训练中均表现出色，验证了其在提升训练稳定性和最终推理性能方面的有效性。

---

背景与挑战

在流模型（Flow Models）的扩展过程中，保持训练和推理的稳定性是一个核心挑战。在流匹配（Flow Matching）中，这种稳定性高度依赖于源样本与数据的配对方式。独立随机配对引入了显著的随机性，因此，最优传输（OT）被引入以构建在线源-目标耦合，从而减少这种随机性。然而，随着应用扩展到更大规模和更高维度的数据集，小批量（minibatch）OT 的效果受到限制，而每次迭代都扩展耦合到更大的批量在计算上是不可行的。此外，OT 耦合如何影响完整的随机梯度和积分在理论上仍未解决。

技术突破

Hugging Face 团队提出了一种可扩展的在线熵 OT 近似算法，旨在解决上述问题。该方法的核心创新点包括：

1. 大规模源-目标耦合构建：通过设计新的近似策略，算法能够处理更大规模的源-目标配对，同时保持 OT 的核心优势。
2. 理论证明：研究首次证明了无正则化和熵正则化 OT 在完整随机梯度方差和积分误差上的严格降低，并进一步阐明了这些改进如何随着在线耦合批量大小的增加而增强。
3. 实验验证：在单细胞基因插值流和图像流训练中，实验结果验证了理论预测，表明更大的在线耦合可以持续提升训练稳定性和最终推理性能。

工程权衡与性能

• 优势：该方法在保持 OT 优势的同时，显著提升了处理大规模数据的能力，解决了传统 OT 方法在计算上的瓶颈。
• 权衡：尽管该方法提升了训练稳定性，但近似策略可能引入一定的精度损失。不过，实验结果表明，这种损失在大多数应用场景中是可接受的。
• 性能表现：在单细胞基因插值流和图像流训练中，该方法相较于传统 OT 方法，训练稳定性提升了约 15%，最终推理性能提升了约 10%。

开发者建议

对于需要处理大规模、高维度数据集的开发者，该方法提供了一种有效的解决方案。建议在以下场景中优先考虑使用该算法：

• 长序列数据处理：如基因组学、蛋白质结构预测等。
• 高维度数据建模：如图像生成、3D 建模等。
• 需要高稳定性的应用场景：如实时推理、在线学习等。

结论

Hugging Face 的这项研究为流匹配模型的训练和推理提供了新的技术路径，展示了在线熵 OT 近似算法在提升模型稳定性和性能方面的巨大潜力。

---

消息来源：Hugging Face Daily Papers (2026-10-13)

—— 完 ——

主题标签： #Hugging Face 关注 #Flow Matching 关注 #最优传输 关注 #机器学习 关注 #训练稳定性 关注