LLM因果推断压力测试：扩大模型难掩乐观偏差

摘要：一项面向大语言模型因果推断能力的系统性压力测试，从模型规模、因果图复杂度、提示策略、元数据质量、数据质量和不确定性六个维度评估模型。研究发现，LLM普遍高估因果关系，导致精确率偏低；推理能力较强的模型在忽略不确定性时可获得较高分，但纳入置信度后性能明显下降。扩大参数规模带来的提升也不稳定，元数据质量下降会造成快速退化，因此LLM更适合生成因果假设，而非独立完成可靠的因果发现。

---

核心发现

这项研究没有把大语言模型当作完整的因果发现引擎，而是将其视为一种能够结合语言知识与数据集上下文、生成候选因果关系的辅助组件。作者沿六个维度施加压力：

• 模型规模：检验扩大参数规模能否稳定提高因果推理能力；
• 因果图复杂度：增加变量、边和潜在混杂关系带来的识别难度；
• 提示策略：比较不同提示方式对结论的影响；
• 元数据质量：改变变量定义、时间戳、单位及来源说明的完整程度；
• 数据质量：引入缺失、噪声和不可靠观测；
• 不确定性敏感度：比较忽略置信度与纳入置信度后的评测结果。

最稳定的结论是因果过度推断：模型倾向于把相关性、先后顺序或语义上合理的联系解释为真实因果边。其直接后果不是召回不足，而是生成过多伪因果关系，使精确率显著下降。即使模型能够正确回忆某条可能的关系，也不代表它有能力证明该关系成立。

技术机制：为什么扩大模型仍然不可靠

LLM在因果任务中的输出路径通常包括：读取变量描述、从训练语料中调用领域关联、模拟变量间的机制解释，再根据提示要求构造图结构。语言模型擅长的是语义连贯性，而因果识别要求排除替代解释。若数据中缺少干预信息、反事实观测或可靠的时间顺序，模型只能利用语言先验补全缺失机制，这种补全很容易形成“合理但未经识别”的因果边。

模型规模带来的提升主要来自更丰富的领域知识和更强的指令遵循，并不等价于更强的可识别性推理。论文中的结果表明，规模增益依赖输入条件：元数据质量越好，模型越容易形成稳定假设；元数据一旦退化，模型会用语义相关性补偿结构化证据，错误边随之增加。这解释了为什么同一模型在干净表格和含混数据集上可能出现明显不同的图结构质量。

传统指标还可能掩盖问题。若评测只依据预测图与真实图的重合度、回答一致性或经模型裁判评出的合理性，模型可以依靠自信措辞与领域常识获得高分，却无法证明预测边具有因果效力。只有把置信度、拒答能力和不确定性惩罚纳入评估，分数才会更接近实际可靠性。

工程权衡与评测局限

这项工作的主要价值在于评测设计，而非提出新的模型架构。不过，摘要没有披露完整实验细节，包括具体模型、样本量、数据集、图生成规则、统计显著性及不确定性校准方法，因此以下问题仍需结合全文核验：

1. “不确定性”如何量化：是模型自报置信度、多次采样方差、扰动稳定性，还是经过校准的后验概率。不同定义会显著影响结论。
2. 压力测试是否覆盖真实领域分布：合成因果图便于控制变量，却可能低估开放研究数据中的测量误差、选择偏差与结构未知性。
3. 提示策略是否充分公平：复杂提示可能同时提供更多领域提示和更多推理预算，需要明确提示长度、工具访问、采样次数与推理计算量。
4. 模型裁判是否形成循环验证：若图质量由同类LLM评估，语言偏好可能再次掩盖真正的因果错误。
5. 规模比较是否匹配计算预算：更大模型的更强推理模式可能伴随更高推理成本，不能只比较最终准确率。
6. 精度与召回是否需要分别报告：因果发现的工程目标不同，自动筛选候选关系更重视召回，人工验证或决策支持更重视精确率。

此外，论文提出的是一个压力测试框架，不等于完整的因果发现算法。LLM输出仍需接受干预数据、领域假设、混杂变量控制与统计检验的约束。

开发者落地建议

将LLM接入因果发现流水线时，可以采用“生成假设—验证假设”的分层架构，而不是让模型直接提交因果图。

1. 先做结构化输入校验：把变量定义、单位、时间覆盖、来源和数据字典作为强制字段，并对缺失元数据设置降级策略。
2. 强制输出候选边与置信度：每条边应附证据来源、支持机制、反例以及可能的混杂变量，而不只是自然语言判断。
3. 区分相关、预测与因果标签：禁止模型用单一“causal”字段混合不同语义，避免将高预测贡献误写为可干预关系。
4. 优先使用干预数据验证：结合随机实验、准实验或自然实验进行识别；缺少识别假设时，保留“不确定”标签。
5. 采用候选生成与验证分离：LLM负责提出方向，统计程序、数值工具或领域专家负责检验，工具输出应作为独立证据而非模型自证。
6. 按下游代价调整阈值：研究探索阶段可提高召回率，进入决策流程前再提高精确率并加入人工复核。

实践结论

LLM能够降低因果假设的初始探索成本，但不具备天然可靠的因果识别能力。扩大模型规模会带来有限且脆弱的收益；提示优化不能替代数据质量；忽略不确定性会让基准分数系统性偏高。最稳妥的定位是让LLM担任因果研究助理，而不是最终裁决者。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-05)

—— 完 ——

主题标签： #LLM因果推断 关注 #因果发现 关注 #不确定性评估 关注 #LLM可靠性 关注 #压力测试 关注