BBOWP-Bench 基准发布:评估大语言模型在黑盒优化问题中的搜索空间设计与算法选择能力
摘要:arXiv 最新论文提出黑盒优化文字问题(BBOWP)新设定,要求系统从自然语言描述中推断搜索空间和优化算法。为此,作者构建了 BBOWP-Bench 基准套件,包含自然语言问题描述、可执行评估环境和人工基线。首次评估显示,当前 LLM 能根据预算选择合适算法,但在搜索空间设计上存在不足,尤其在信息不足或问题特定性强时难以识别关键变量和平衡范围。该工作为自动化黑盒优化问题求解提供了新基准和洞见。
概述
优化问题的表述方式对最终解的质量有显著影响,但良好的表述通常需要大量专业知识。近期研究开始探索如何从自然语言描述中自动推导优化问题,但现有基准多聚焦于目标和约束可显式写成数学表达式的场景。许多实际问题天然适合黑盒优化(BBO),其中仅可观测目标值,函数形式未知。在 BBO 中,搜索空间设计(问题表述的一部分)和优化算法的选择对求解至关重要。用大语言模型(LLM)自动化这些过程是一项重大挑战。
BBOWP 新设定
本文提出黑盒优化文字问题(BBOWP),一种新颖的问题设定:系统必须从黑盒优化任务的自然语言描述中推断出搜索空间和优化算法。该设定模拟了实际场景中用户仅用自然语言描述问题,而系统需自动完成问题形式化和求解器选择。
BBOWP-Bench 基准套件
为支持该方向研究,作者构建了 BBOWP-Bench,包含数据集和评估框架。每个实例结合了:
- 自然语言问题描述
- 可执行的评估环境
- 人工设计的基线表述
这使得可以同时评估搜索空间设计和算法选择。
主要发现
利用该基准,作者首次评估了 LLM 的能力,结果显示:
- 当前 LLM 能够根据给定的评估预算选择合适的优化算法。
- 但在搜索空间设计上存在困难,尤其是在问题描述信息不足或搜索空间高度特定时,难以识别重要变量并平衡其范围。
影响与展望
BBOWP-Bench 为自动化黑盒优化问题求解提供了标准化的测试平台,有助于推动 LLM 在优化领域的应用。未来工作可聚焦于提升 LLM 的搜索空间设计能力,并探索更复杂的 BBO 场景。
资源
代码和数据集已开源:https://github.com/shiralab/bbowp-bench
原文出处
论文原文:arXiv:2608.02612v1
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-06)
主题标签: #LLM #黑盒优化 #基准测试 #搜索空间设计 #算法选择
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区