LLM语义先验如何进入因果发现：查询、准入与图保留的三重校准

摘要：这项研究把大语言模型语义先验引入部分可识别因果发现拆成三个独立问题：向哪些边分配语义查询、是否接纳模型给出的方向，以及最终保留哪些DAG。作者区分了总体不可识别与有限样本不稳定性，并用统计方向和匹配随机方向作为对照。基准网络实验表明，语义信息优于随机定向，但优先查询不稳定边并无明确优势；现有准入证书无法在有限校准任务下支持非平凡准入，学习参考集仅在80项任务中的3项包含真实DAG，说明校准规模与参考充分性仍是落地瓶颈。

---

研究问题：语义先验有用，不代表可以自动决定因果方向

在纯观测数据下，骨架相同的多个有向无环图（DAG）可能具有完全相同的条件独立结构，因此某些边的方向在总体层面不可识别；即使方向原则上可识别，有限样本也会让统计估计出现方向翻转或排序不稳定。大语言模型能够依据变量名称、领域描述和常识提出因果方向，但这种语义提议一旦错误，就可能提前排除真实DAG，使后续结构学习与干预估计建立在错误搜索空间上。

研究的关键贡献不是证明“LLM懂因果”，而是把语义先验的使用拆成三个必须分别验证的环节：

1. 查询分配：有限次数的LLM调用应该用于哪些边；
2. 方向准入：哪些模型提议有足够证据被加入方向约束；
3. DAG保留：如何容忍部分错误方向，并保留仍可能包含真图的候选集合。

这比直接让LLM输出一个完整因果图更接近可审计的工程流程，因为每个环节都可以独立替换、评估和回滚。

技术机制：把总体不可识别与有限样本波动分开

如果两个观测分布满足相同的条件独立关系，那么改变某些边方向可能不会改变分布；这属于总体不可识别。针对不稳定边优先查询LLM，隐含假设是：统计模型频繁翻转方向的边，恰好也是语义知识最能纠正的边。

但这一假设不成立，原因有二：不稳定可能只是有限样本噪声，而不是方向本身不可由统计方法恢复；同时，语义模型也可能在同一类边上持续产生错误方向。研究因此设置了三类对照：统计方向、随机方向，以及与不稳定边数量和结构位置匹配的随机查询分配。比较时应保持LLM调用预算、提示模板和评分协议一致，避免把更多推理次数误当成更好的先验。

准入机制可抽象为一个带校准保证的选择问题：对候选方向 g 构造统计量或证书 T(g)，再根据校准数据确定阈值 τ，仅接纳满足 T(g) ≥ τ 的方向。理想的 τ 应控制错误准入率，使被排除DAG包含真图的风险维持在预设水平。不过，这需要覆盖“方向错误、边界相关与近似等价”等校准情形。论文发现，现有校准任务不足以估计可靠的非平凡阈值，因此不能把模型置信度直接当作可证明的准入证书。

保留策略：候选图不是越多越好

DAG保留阶段需要在召回与精度之间取舍：过度收紧准入条件会删除真实图，放宽则会把大量错误方向传播到候选集合。论文考察容错DAG保留机制，试图在已知错误比例或错误容忍度下维护候选结构。

这里还有一个容易被忽略的工程问题：保留下来的候选DAG需要一个参考集合衡量覆盖度。如果所谓“已学习参考图”本身缺少真实DAG，那么下游指标即使显示候选集合很大，也无法证明真图被保留。实验中，学习参考集在80项计划任务里只有3项包含真实DAG，导致下游保留评测的解释力严重受限。

实验结论：语义信息有价值，但查询策略没有赢

在基准网络上的核心结果是：LLM语义方向优于随机硬币翻转，说明变量语义确实能注入纯统计方法缺失的信息。然而，针对不稳定边进行定向查询，并未显示出相对匹配随机分配的明确优势。换言之，统计不稳定度不是“哪里最值得问LLM”的可靠代理指标。

准入结果更加谨慎：论文测试的校准证书在现有任务与数据量下，无法支持有意义的非平凡准入。直白地说，系统可以记录LLM提出的方向，却还不能以可靠统计保证排除真图的概率受到控制。

参考集合的结果则构成另一项关键负面证据：80项任务中仅3项包含真实DAG，说明当前学习到的图分布与真实图之间仍有显著差距。下游图保留实验因此不能被解释为系统已经能够在未知数据上可靠恢复因果结构。

这些结论不应被解读为“LLM对因果发现无用”。更准确的判断是：语义信号优于无信息随机基线，但目前没有证据支持一种高效、可校准且可证明安全的自动接入方案。

工程权衡与复现风险

LLM语义查询的成本包括提示推理、实体与变量对齐、答案解析、缓存以及重复调用。若每条候选边都单独询问，查询数量可能随图规模按 O(|E|) 增长；若采用全图提示，则上下文扩大、错误方向可能相互影响，输出也更难逐边校准。研究中的随机匹配策略因此很有工程意义：当定向查询没有稳定增益时，随机预算分配至少成本更低，且不依赖不稳定边估计是否可靠。

评测方面还需要关注四类偏差：

• 基准图偏差：合成网络中的变量命名和领域词可能更符合LLM熟悉模式；
• 提示敏感性：换用变量匿名化、同义词或对抗性描述，方向提议可能明显变化；
• 模型版本偏差：不同LLM的常识覆盖与提示敏感性会改变准入阈值；
• 选择偏差：若参考DAG只包含容易描述的网络，结果会高估语义先验收益。

此外，论文当前没有给出真实大规模因果系统中的端到端验证。对于药物研发、经济政策或工业排障等高风险场景，“比随机好”并不足以支持自动干预建议。

开发者落地建议

现阶段更稳妥的做法是把LLM放在建议生成器位置，而不是不可逆的因果裁决器：

1. 先用纯统计方法生成骨架、候选方向和稳定性指标；
2. 将LLM提议逐边记录，并附带提示、模型版本、原始响应和解析结果；
3. 用独立校准集估计错误准入率，而不是以LLM自身置信度替代概率校准；
4. 保留带容错的DAG候选集，同时持续检查真实图覆盖率；
5. 若定向查询相对匹配随机策略没有稳定增益，优先采用随机或分层随机预算，而非把稳定性误当作语义价值信号；
6. 对高风险决策保留人工审核和干预数据反馈闭环。

这项研究最实用的贡献，是给出了一个清晰边界：LLM语义先验可以作为额外信息源，但何时查询、如何接纳以及如何保留因果图，必须由独立的校准与覆盖度证据支持，不能把语言模型的常识直接升级为因果事实。

---

消息来源：ArXiv AI (cs.AI) (2026-11-13)

—— 完 ——

主题标签： #LLM语义先验 关注 #因果发现 关注 #DAG 关注 #校准 关注 #不确定性 关注