Hugging Face发布OR-License：评估大语言模型在真实世界运筹学任务中的表现

摘要：Hugging Face推出OR-License，这是一个针对大语言模型（LLM）代理在真实世界运筹学（OR）任务中表现的端到端基准测试。该基准测试包含31个实例，涵盖10个工业场景，总价值368万美元的真实付费项目数据。OR-License通过ORSim模拟器评估模型对原始业务材料的信息获取能力，并使用部署调整质量（DAQ）指标衡量模型输出与专家解决方案的匹配度。实验结果表明，尽管部分LLM在条件目标质量上超过专家，但在整体部署质量上仍有差距。

---

1. 引言

随着大语言模型（LLM）在各个领域的应用日益广泛，其在复杂决策任务中的表现备受关注。运筹学（OR）作为一门涉及优化、决策和资源分配的学科，对AI模型提出了更高的要求。传统OR基准测试通常基于预定义的优化任务或自包含的描述，忽略了从原始业务材料到专业解决方案的转化过程。

2. OR-License基准测试概述

Hugging Face推出的OR-License旨在填补这一空白。该基准测试包含31个实例，涵盖10个工业场景，所有数据均来自真实世界的付费项目，总价值达368万美元。OR-License通过以下方式确保评估的真实性：

• 原始数据保留：在去标识化处理后，保留原始的业务需求、输入数据和交付格式。
• 信息边界控制：通过ORSim模拟器模拟客户信息获取过程，不提供运筹学专业知识，确保模型在有限信息下进行推理。

3. 评估指标与实验结果

OR-License采用部署调整质量（DAQ）作为核心评估指标，该指标综合考虑了模型输出的可行性、目标质量和与专家解决方案的相对质量。实验结果表明：

• 可行性：在11个前沿LLM中，Claude Code配置在严格可行性上表现最佳，达到88.39%。
• 目标质量：部分LLM在条件目标质量上超过专家，但在整体DAQ上均未达到专家水平（1.0），最强配置仅为0.87。

4. 信息获取与问题解决

OR-License还评估了模型在信息获取方面的表现，结果显示：

• 信息获取阶段：模型的信息获取行为不仅限于澄清问题，还扩展到解决方案的开发与验证。
• 问题解决轨迹：通过轨迹分析，识别出模型在问题表述和实施阶段的失败案例。
• 任务完成率：在可评估任务中，模型的研究链完成率在24%到45%之间。

5. 结论与未来方向

OR-License的实验结果揭示了LLM在真实世界OR任务中的潜力与挑战。尽管部分模型在某些方面表现出色，但整体上仍需在信息获取、问题表述和解决方案实施方面进行改进。未来的研究应关注：

• 信息差距解决：开发更有效的机制以弥合模型与专家之间的信息差距。
• 问题表述准确性：提升模型对复杂业务需求的理解与表述能力。
• 证据驱动的自我改进：构建基于证据的自我改进机制，以实现更可靠的长期智能体行为。

6. 开发者建议

对于希望将LLM应用于OR领域的开发者，OR-License提供了一些关键建议：

• 数据预处理：确保输入数据经过充分预处理，以减少模型对额外信息的依赖。
• 多阶段评估：采用多阶段评估机制，评估模型在不同信息获取阶段的表现。
• 混合方法：结合传统运筹学方法与LLM，以提升整体解决方案的质量和可靠性。

---

消息来源：Hugging Face Daily Papers (2026-10-16)

—— 完 ——

主题标签： #Hugging Face 关注 #大语言模型 关注 #运筹学 关注 #基准测试 关注 #AI智能体 关注