Hugging Face发布MLExpert：革新自主机器学习工程的多专家模型

摘要：Hugging Face推出了一款名为MLExpert的35B规模多专家模型，旨在通过自主优化机器学习工程（MLE）流程，推动AI for AI（AI4AI）的发展。该模型采用分层智能体监督微调（SFT）和窗口化交互强化学习（WIRL）等技术，在多个基准测试中表现出色，将基础模型的平均奖牌率从37.9%提升至72.7%，并展示了其在算法优化和任务泛化方面的潜力。

---

技术机制剖析

MLExpert的核心技术突破在于其多专家架构与强化学习方法的结合：

1. 多专家架构（Mixture-of-Experts, MoE）：MLExpert采用35B规模的MoE架构，通过动态路由机制选择专家子模型处理不同任务。这种设计在保持高参数规模的同时，降低了推理成本并提升了模型对复杂任务的适应能力。

2. 分层智能体监督微调（SFT）：通过将通用工具使用和编码能力迁移到MLE任务中，MLExpert实现了对复杂实验流程的精细化控制。

3. 窗口化交互强化学习（WIRL）：WIRL将连续实验结果之间的多轮决策视为一个执行窗口，并为其分配基于结果的共享奖励。这种方法能够有效捕捉长交互轨迹中的有用监督信号，并从中间结果中学习优化策略。

4. 异步收集与策略校正：MLExpert支持在轨迹结束前进行策略更新，从而实现更高效的在线学习和错误纠正。

工程权衡与实测表现

• 性能提升：在MLE-Bench Lite基准测试中，MLExpert将基础模型的平均奖牌率从37.9%提升至72.7%，接近Kimi-K3和GLM-5.3等更大规模的尖端模型。

• 泛化能力：MLExpert在NatureBench Lite、代理框架优化和算法优化任务中均表现出色，表明其优化能力具有较强的泛化性。

• 训练成本与效率：尽管MoE架构在训练过程中需要处理专家子模型的动态路由，但通过异步收集和策略校正机制，MLExpert在保持高性能的同时，显著降低了训练延迟。

开发者落地与部署建议

1. 任务适配性：MLExpert适用于需要复杂实验流程和长交互轨迹的机器学习工程任务，如超参数优化、模型架构搜索和自动化实验设计。

2. 资源需求：由于其35B规模，MLExpert对硬件资源要求较高，建议在配备GPU集群的环境中部署。

3. 微调与定制：开发者可以根据具体应用场景对MLExpert进行微调，以进一步提升其在特定任务上的表现。

4. 集成与扩展：MLExpert可以与现有的MLE工具链无缝集成，并支持通过插件机制扩展其功能。

结论

MLExpert代表了自主机器学习工程领域的一个重要进展，通过多专家架构和强化学习方法的结合，展示了在复杂任务优化和泛化方面的强大能力。其发布为AI for AI的发展提供了新的技术路径，并为开发者提供了强大的工具支持。

---

消息来源：Hugging Face Daily Papers (2026-10-15)

—— 完 ——

主题标签： #Hugging Face 关注 #多专家模型 关注 #机器学习工程 关注 #强化学习 关注 #AI4AI 关注