arXiv发布OR-License：评估LLM智能体在现实运营研究中的表现

摘要：arXiv推出OR-License，这是一个针对大语言模型（LLM）智能体在运营研究（OR）领域表现的全新基准测试，包含31个实例，覆盖10个工业场景，总价值达368万美元。该基准测试通过去标识化处理保留了原始业务需求、数据格式和交付边界，并引入了ORSim模拟器来研究信息获取过程。实验结果表明，尽管部分LLM在条件目标质量上超过了专家水平，但在部署调整质量（DAQ）方面仍存在差距。此外，研究强调了信息获取、问题构建和自我改进对提升智能体可靠性的重要性。

---

背景与动机

随着大语言模型（LLM）在各个领域的应用日益广泛，如何评估其在复杂专业任务中的表现成为关键问题。运营研究（OR）领域尤其具有挑战性，因为它不仅涉及复杂的数据处理，还需要对原始业务需求进行精准理解和转化。现有基准测试通常基于预定义的优化任务或简化的描述，无法全面反映LLM在处理真实业务材料时的能力。

OR-License基准测试

arXiv推出的OR-License基准测试旨在填补这一空白。该基准测试包含31个实例，覆盖10个工业场景，总价值达368万美元。通过去标识化处理，保留了原始的业务需求、数据格式和交付边界，确保了测试的真实性与挑战性。

ORSim模拟器

为了研究信息获取过程，研究团队开发了ORSim模拟器。该模拟器模拟真实客户行为，在不提供OR专业知识的情况下分发业务事实，从而评估LLM在信息获取、问题构建和解决方案验证方面的表现。

主要发现

1. 性能评估：在11个前沿LLM中，部分模型在条件目标质量上超过了专家水平，但没有任何模型在部署调整质量（DAQ）上达到专家水平。表现最好的Claude Code配置在严格可行性上达到了88.39%，而DAQ为0.87，相比专家的1仍有差距。

2. 信息获取：信息获取不仅限于澄清问题，还涉及解决方案的开发和验证。在后期阶段，确认的问题解决比例更高，表明LLM在复杂任务中的表现依赖于持续的信息获取和验证。

3. 失败分析：轨迹分析揭示了LLM在问题构建和实施阶段的失败原因。任务均衡的研究链完成率在可评估任务中仅为24%至45%，表明LLM在处理复杂任务时仍需改进。

结论与展望

OR-License基准测试的结果表明，尽管LLM在某些方面表现出色，但在处理真实世界的OR任务时仍有改进空间。研究强调了信息获取、问题构建和自我改进的重要性，为未来LLM在专业领域的应用提供了重要参考。

工程权衡与建议

• 信息获取与验证：开发者应关注LLM在信息获取和验证方面的能力，确保模型能够有效处理复杂业务需求。
• 持续改进：通过引入反馈机制和自我改进策略，提升LLM在长程任务中的表现。
• 多模态融合：未来研究可探索多模态数据的融合，以进一步提升LLM在专业任务中的表现。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-21)

—— 完 ——

主题标签： #LLM 关注 #基准测试 关注 #运营研究 关注 #信息获取 关注 #智能体 关注