LLM分子优化评测审计：检索与随机游走贡献远超模型推理

摘要：一项针对低预算分子优化基准的消融研究显示，LLM智能体在PMO上的优势很大程度来自可检索的任务信息，而非在线推理。隐藏任务名称和参考化合物后，GPT-4o mini的50次Oracle调用Sum AUC从14.44降至4.85；不含LLM的确定性检索基线达到12.16，相当于完整智能体的84%。在蛋白靶向基准上，单次编辑随机游走也构成强基线。研究据此建议使用检索安全提示词与随机游走下界，避免把基准泄漏或宽松Oracle误判为智能体能力。

---

核心发现：LLM智能体的高分主要不等于在线推理能力

PMO等低预算分子优化基准通常允许智能体在有限次Oracle调用内迭代生成候选分子，并依据相似度、性质或对接分数进行筛选。研究者通过23项任务的完整2×2消融和8项任务的三随机种子复现，分离出三类潜在贡献：在线优化、可检索的任务信息，以及过于宽松的Oracle景观。

在PMO的50次Oracle调用预算下，GPT-4o mini智能体的Sum AUC为14.44；隐藏任务名称及精选参考化合物后，该指标降至4.85。身份盲测条件仅告知Oracle形式，例如“与隐藏参考分子相似”，得分也只有5.39。更关键的是，完全不使用LLM、只执行确定性检索的基线达到12.16，即完整智能体的84%。这意味着原始提示和上下文中的任务身份信息，可能通过参考分子或语料记忆直接提供高质量候选，而不是依赖智能体逐步推理和在线搜索。

机制拆解：评测得分由检索、搜索与Oracle共同塑造

分子优化智能体的典型闭环是：LLM读取任务描述与历史候选，生成新分子，调用Oracle评估，再根据反馈修订后续搜索。若基准允许从任务名称检索公开参考结构，这些结构就成为近乎答案级的外部记忆。此时，智能体能力、向量检索能力和基准数据泄漏被合并为同一个分数。

2×2消融的关键价值，是让同一任务在信息可见性条件之间成对比较。完整条件提供任务身份和参考化合物；盲化条件移除这些线索；随机化或受控提示用于判断模型能否依据Oracle反馈恢复搜索能力。结果显示，去掉可检索身份后，在线优化性能出现大幅下降。这说明低预算AUC并不能单独证明Agent具备可迁移的化学推理能力，尤其当候选生成空间高度离散、Oracle又与某个隐藏参考分子高度相关时，检索优势会被进一步放大。

不过，这一结论不应被夸大为“LLM完全无用”。研究同时设置检索无关的群体智能体作为正向对照：在相同50次调用AUC预算下，它超过REINVENT，且在100次调用时取得最强结果。合理的技术结论是：LLM的价值更可能体现在生成多样性、批量候选构造或群体策略组织上，而不是在已经被参考结构覆盖的低预算单任务搜索中独占优势。

蛋白对接基准：单步随机游走已是强下界

在蛋白靶向基准中，研究使用AutoDock Vina构造复合Oracle。对分子进行单次编辑的随机游走基线，在三个随机种子上取得0.636 ± 0.008的复合分数，并将对接指标改善至-1.11 ± 0.04 kcal/mol。这里的负值表示结合能降低，即对接质量改善。

这个结果揭示了分子优化评测中的“强基线悖论”：当搜索动作是局部结构编辑，而Oracle又能稳定提供方向性反馈时，简单的随机扰动加上贪心接受规则，可能已经足以捕获大部分局部下降。LLM智能体若只比这一基线高一个较小幅度，就不能据此宣称具备显著化学推理优势。严格比较应同时报告绝对提升、跨种子方差和每个Oracle调用的边际收益，而不是只展示最终最佳分子。

评测可信度与工程成本

这类研究的核心价值在评测设计，而不在于提出新的分子生成模型。三组随机种子与多任务消融降低了单次采样偶然性，但当前证据仍受以下因素限制：

• PMO任务、Oracle形式和公开参考化合物的可检索程度可能共同决定结果，难以直接外推到闭源任务或私有目标。
• 50至100次Oracle预算只覆盖短程搜索，不能代表更长轨迹、更多反馈轮次或复杂多目标优化。
• AutoDock Vina的计算近似会漏掉构象采样、溶剂效应和柔性受体等因素，因此对接分数改善不等于真实结合亲和力提升。
• 论文摘要未给出完整代码、候选过滤细节和全部成本数据，实验复现仍需依赖作者材料。

工程上，LLM调用、确定性检索和Oracle计算的成本结构不同。若检索只需数据库访问，而每次分子Oracle需要数秒甚至数分钟，那么“最终AUC”必须与墙钟时间、GPU成本和Oracle吞吐同时报告。否则，一个看似昂贵的Agent方案，可能在同等总预算下被检索或随机搜索以更低成本击败。

开发者与评测团队的落地建议

1. 对PMO任务实施检索安全提示

移除任务名称、基准标识、可直接命中的参考化合物及公开排行榜线索。若研究目标确实包含检索增强能力，应单独设置“允许检索”和“禁止检索”两组，而不是把检索收益归因于LLM推理。

2. 加入确定性检索与随机搜索下界

每个LLM分子优化方法至少应报告三类基线：任务无关随机采样、确定性相似检索、单步编辑随机游走。只有稳定超过这些基线，并能在盲化条件下保持增益，才能支持更可信的能力主张。

3. 控制Oracle调用预算并报告面积下曲线

固定最大调用数不够，还应绘制Oracle调用数与Sum AUC、胜率或最佳性质之间的关系。曲线能够区分前期快速利用检索线索的能力与后续持续搜索能力，并显示100次调用附近的收益是否饱和。

4. 使用多任务、多种子和盲化复现

不同任务的信息泄漏程度并不一致。单任务、单模型、单次运行不足以证明方法有效。建议至少采用跨任务留出、三至五个随机种子、盲化任务身份，以及与REINVENT等传统基线的同预算比较。

5. 将发现评分与化学有效性分开验证

优化Oracle分数不应直接视为药物发现进展。候选分子还需经过价态检查、合成可及性、稳定性、选择性、毒性、ADMET和正交对接验证。只有经过这些步骤，才能判断Agent带来的增益是否超出基准函数优化本身。

结论

这项工作给低预算分子优化基准敲响了警钟：LLM智能体看似实现了显著提升，但其中大部分可能来自公开任务身份、参考结构和检索记忆，而非模型自身的在线化学推理。更可靠的评测应把检索能力、随机搜索能力与LLM规划能力分层报告。

研究提出的两项低成本检查非常适合成为默认流程：一是使用检索安全的PMO提示，二是为对接优化加入随机游走下界。它们不能证明LLM智能体无用，但能显著降低因基准泄漏和宽松Oracle造成的虚假性能归因。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-09)

—— 完 ——

主题标签： #LLM智能体 关注 #分子优化 关注 #基准审计 关注 #检索泄漏 关注 #PMO 关注