Hugging Face研究揭示循环Transformer训练中截断反向传播的权衡与优化

摘要：Hugging Face发布了一项关于循环Transformer训练中截断反向传播（BPTT）的研究成果。通过对近600次训练实验的系统分析，研究团队提出了一个统一的可扩展性定律，揭示了循环机制和截断对模型性能的综合影响。研究表明，尽管截断BPTT可以节省训练计算资源，但在优化循环次数时，完全的BPTT表现更优。在相同计算资源下，通过较少循环次数的完全BPTT始终优于截断设置。此外，研究还指出，在模型规模固定时，最优循环次数和训练token预算均随计算资源的增加而增长；而在模型规模可变的情况下，两个完全训练的循环被证明是最优设置。实验结果表明，这一设置在验证损失上优于计算最优的非循环模型，同时减少了27%的非嵌入参数，并仅增加了8%的训练计算量。

---

研究背景与动机

循环Transformer通过重用共享层块来增加计算深度，而无需增加可训练参数数量。这种方法通过时间反向传播（BPTT）进行训练，但为了节省训练计算资源，BPTT通常被截断到最后的几个循环。然而，截断会导致梯度偏差，可能削弱循环机制的优势。本研究旨在系统地探讨截断在循环Transformer训练中的价值。

研究方法与实验设计

研究团队进行了近600次训练实验，系统地调整了模型规模、训练token数量以及前向和后向循环次数。通过拟合一个统一的可扩展性定律，研究捕捉了循环和截断对模型性能的影响。

主要发现

1. 截断与完全BPTT的对比：尽管截断BPTT可以节省训练计算资源，但在优化循环次数时，完全的BPTT表现更优。在相同计算资源下，通过较少循环次数的完全BPTT始终优于截断设置。
2. 最优循环次数与训练token预算：在模型规模固定时，最优循环次数和训练token预算均随计算资源的增加而增长。
3. 模型规模与循环设置：当模型规模可变时，两个完全训练的循环被证明是最优设置。实验结果表明，这一设置在验证损失上优于计算最优的非循环模型，同时减少了27%的非嵌入参数，并仅增加了8%的训练计算量。

工程权衡与实际应用建议

• 计算资源与循环次数的权衡：在资源受限的情况下，可以通过减少循环次数并采用完全BPTT来优化性能。
• 模型规模与训练策略的匹配：对于大规模模型，建议采用较少的循环次数以平衡计算成本和性能。
• 训练token预算的优化：在计算资源允许的情况下，增加训练token数量可以进一步提升模型性能。

结论

本研究通过系统化的实验设计和可扩展性定律的拟合，揭示了循环Transformer训练中截断BPTT的权衡与优化策略，为AI模型训练提供了新的见解和工程化解决方案。

---

消息来源：Hugging Face Daily Papers (2026-10-20)

—— 完 ——

主题标签： #Hugging Face 关注 #循环Transformer 关注 #BPTT 关注 #模型训练优化 关注 #可扩展性定律 关注