arXiv发布FARO：基于函数空间的自适应优化器提升大模型训练效率

摘要：arXiv近日发布了一种名为FARO的新型优化器，旨在解决大语言模型训练中的计算瓶颈问题。FARO通过将参数分割为多个块，并基于函数空间的反事实收益自适应地分配预算，显著提升了训练效率。在GPT风格模型上的实验表明，FARO在保持与手工设计优化器（如NorMuonAndAdam）同等性能的同时，通过跨块等风险贡献（ERC）机制进一步降低了平均损失，展现出其在优化大模型训练中的潜力。

---

1. 技术机制剖析

FARO（Function-Space Adaptive Return-to-Risk Optimization）是一种新型优化器，旨在解决大语言模型训练中的计算瓶颈问题。其核心机制包括：

• 参数块分割与自适应分配：FARO将模型参数分割成多个块，并根据每个块的函数空间反事实收益自适应地分配优化预算。这种方法取代了传统的手工分配方式，使得优化过程更加灵活和高效。
• 跨块等风险贡献（ERC）机制：在冻结每个块的优化路径后，FARO通过ERC机制重新分配预算。该机制借鉴了投资组合理论中的风险平价原则，通过削减风险最高的块预算而非扩展最安全的块预算来降低整体风险。

2. 工程权衡与实测表现

• 性能对比：在FineWeb数据集上训练的GPT风格模型中，FARO-Adaptive在完整训练计划中达到了3.2780 nats，与手工设计的NorMuonAndAdam（3.2794 nats）性能相当。这表明FARO能够在不依赖人工设置每层几何形状的情况下恢复人类先验知识。
• 优化效果：FARO-ERC在6个种子上的平均损失降低了0.0136 nats，展现出稳健的性能提升。其在数据噪声环境下的表现也依然稳定，进一步验证了其鲁棒性。
• 计算与内存开销：FARO在训练过程中没有增加额外的计算时间或内存开销，这使其在实际应用中更具吸引力。

3. 开发者落地与部署建议

• 适用场景：FARO适用于需要高效训练大语言模型的应用场景，特别是在资源受限的环境中，其自适应优化机制可以显著提升训练效率。
• 部署建议：开发者可以尝试将FARO集成到现有的训练流水线中，并根据具体任务需求调整参数块分割策略和ERC机制的具体实现。
• 未来方向：未来可以进一步探索FARO在不同模型架构和更大规模数据集上的表现，以及其在多任务学习和持续学习中的应用潜力。

4. 结论

FARO通过创新的函数空间自适应优化机制，为大语言模型训练提供了一种高效且灵活的新方法。其在多个基准测试中的优异表现，展示了其在提升训练效率和降低损失方面的巨大潜力。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-02)

—— 完 ——

主题标签： #FARO 关注 #优化器 关注 #大模型训练 关注 #arXiv 关注 #深度学习 关注