Causal-Discovery-Bench揭示智能体九成失误源于实验设计

摘要：研究团队推出可验证的因果发现评测沙箱 Causal-Discovery-Bench，通过可配置结构方程模型、资源约束和自动评分，检验大模型智能体能否自主设计实验、分配预算、分析连续观测并处理冲突证据。基准覆盖5家厂商的13个模型、3802个回合及7类40项指标。结果显示，智能体在基于整理证据进行因果推断与自主探索因果结构之间存在显著差距；轨迹分析将94.5%的错误归因于实验设计而非推断。放宽资源限制不能稳定解决问题，基础统计工具却能跨模型家族改善表现，而高级工具在底层能力不足时增益有限。

---

基准把“会推理”与“会做实验”拆开评测

Causal-Discovery-Bench 不再向模型直接提供一份整理好的因果证据，而是要求智能体在结构方程模型（SCM）环境中决定下一步实验：选择干预变量、分配有限预算、读取连续观测、处理异常或冲突结果，并在适当时机停止探索、给出因果结论。

这种设计更接近自动化科研代理的真实工作流。模型面对的不是静态问答，而是带有状态转移、采样噪声、资源成本和错误累积风险的序贯决策问题。环境不依赖具体领域语义，因而可以系统改变因果图、实验成本与可用预算，减少语言线索带来的捷径。

论文共评测来自5家厂商的13个模型，涵盖3802个回合，并从7个指标家族中计算40项行为指标。其难度被划分为四级：

1. 设计单次有效实验；
2. 通过连续实验探索因果关系；
3. 在成本与统计功效之间分配资源；
4. 自主处理相互冲突的证据。

为什么“正确证据下会推断”仍然不够

传统因果推理评测往往直接提供经过筛选的干预结果或观测证据，再要求模型识别因果方向。这类任务主要测量给定信息后的推断能力，却绕开了真正的瓶颈：模型能否先产生信息。

Causal-Discovery-Bench 将两者直接对照后，发现两者之间存在明显落差。智能体一旦必须自己选择干预变量，错误率便显著上升。对行动轨迹的分析显示，94.5%的失误可归因于实验设计，而非结果推断；消融实验进一步支持这一结论。

这意味着一个模型即使具备较强的因果图表述能力，也可能无法回答更基础的序贯决策问题：

• 应先干预哪个变量，才能最大程度消除混杂？
• 当前样本量是否足以支持下一步判断？
• 哪项实验成本过高，性价比不足？
• 观测结果冲突时，是扩大样本、改变干预，还是暂时停止？

从工程角度看，这类错误比最终结论错误更值得优先处理，因为它会污染后续所有观测。智能体若持续选择低信息量实验，不仅浪费预算，还会形成错误累积，使后续推断建立在选择偏差之上。

资源约束不是万能解法，统计工具反而更关键

论文发现，单纯放宽资源限制并不能可靠解决连续因果发现中的失败。更多预算并不会自动产生更好的实验策略；如果模型不知道应测试哪个假设、增加样本后仍可能重复低价值实验。

相比之下，基础统计工具能跨多个模型家族显著改善表现。这可能与工具提供了可操作的下限有关，例如检查实验功效、评估样本量，或避免在证据不足时过早停止。高级工具的边际收益却有限，原因在于它们通常建立在更复杂的决策流程之上：模型若无法完成前置的变量选择、预算分配或停止判断，再强的分析模块也难以兑现能力。

这一结果对智能体工具链设计有直接启示。工程上不应默认堆叠高级因果分析工具，而应先建立清晰的基础能力层：可验证实验接口、统计功效检查、成本模型、假设账本和停止规则。工具复杂度只有在基础状态表示稳定后才会转化为收益。

评测机制的工程价值与局限

基准采用可配置SCM和可自动验证的实验轨迹，避免依赖人工判断智能体是否“采取了合理行动”。结构方程模型还能精确控制干预效果、噪声和因果结构，区分模型选错变量与采样预算不足。

但合成SCM仍不能完全代表真实科研。现实实验还包含不可控混杂、测量误差、实验伦理、样本选择和设备校准等复杂因素。当前摘要也没有披露全部模型配置、40项指标的权重、各模型具体成绩、随机种子方差与代码环境，复现时应检查：

• 同一模型在多次试验中的方差是否显著；
• 提升是否来自特定模型家族或提示模板；
• 基础统计工具收益能否跨SCM规模、预算和噪声强度保持；
• 失败归因方法是否区分了实验设计错误与模型工具调用错误。

开发者如何使用这一基准

对智能体研发团队而言，这项工作的价值不只是新增一个排行榜，而是提供了一套更贴近自动化科研的评测框架。接入时可以把智能体拆成策略规划器、实验执行器、统计分析与结论生成器，并逐项记录：所选干预、预期信息增益、实际成本、观测结果、假设更新和停止理由。

开发实践中建议优先完成三项工作：

1. 建立实验预算与信息增益的显式接口，避免模型仅凭自然语言“感觉”决定下一步；
2. 在智能体进入复杂因果工具前，加入样本量、置信区间和功效检查等基础模块；
3. 将错误拆成选错变量、过早停止、预算失衡和冲突处理失败，而不是只看最终因果结论。

综合来看，Causal-Discovery-Bench 给出的关键结论并非“模型不会因果推理”，而是“模型尚未普遍学会如何获得值得相信的因果证据”。对于承担文献综述、实验规划和自动研究流程的智能体系统，实验设计能力应与推理能力同等进入验收指标。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-10)

—— 完 ——

主题标签： #LLM智能体 关注 #因果发现 关注 #实验设计 关注 #智能体评测 关注 #统计工具 关注