证据门控约束大模型审查权：减少误改也暴露模型差异

摘要：一项研究将多智能体系统中的模型审查权定义为“制度管辖权”问题，并提出证据门控机制：审查者只有在机械验证约束违规并生成合规修复后，才能覆盖上游提案。在两个开放权重模型、96项空间策略任务和96项组合迁移任务上，该机制减少了多数对正确提案的破坏，但模型差异显著：Qwen实现了零正确提案误改，Mistral仍替换全部48个正确提案。结果表明，限制审查权限不是独立安全保证，模型能力、交互接口和授权边界必须协同设计。

---

研究问题：审查者何时有权推翻上游决策？

多智能体系统通常让一个“审查者”模型复核另一个智能体的提案，但审查并不天然提升可靠性：它既可能修复违反约束的答案，也可能把本来正确的提案改错。研究把这一过程建模为**制度管辖权（institutional jurisdiction）**问题——在提案、任务信息、模型输出和审查结果相同的前提下，审查者的建议在什么条件下才应具有最终约束力。

论文比较了两种权限设计：

1. 广泛覆盖权（broad override authority）：审查者可直接替换上游提案。
2. 证据门控（evidence gate）：只有当审查者同时产出绑定约束违规的机械有效证据，以及符合要求的修复方案时，覆盖动作才生效。

这里的重点不是简单限制模型权限，而是把权限与可验证的审计轨迹绑定。

机制拆解：把覆盖权变成条件状态机

从工程角度看，该机制可表达为一个带证据状态的决策门。设上游提案为 $p$、任务约束为 $c$、审查输出为 $r$，则审查动作可写为：

$$ A(p,c,r)= \begin{cases} \operatorname{Replace}(p,c,r), & \operatorname{ValidEvidence}(r,c) \land \operatorname{CompliantRepair}(r) \ \operatorname{Retain}(p), & \text{otherwise} \end{cases} $$

关键变化在于，模型不再只输出自然语言意见，而要生成能够被外部规则检查的记录：违规对象、约束引用、证据字段和修复内容。机械验证器随后检查这些字段是否满足预设约束，只有通过后才开放替换路径。

从权限角度看，这相当于把无条件的 review -> replace 改造成 review -> verify -> replace。它可以减少模型因“措辞更自信”或“看起来更完整”而覆盖正确结果，但它不能判断证据本身是否真正相关。验证器只确认形式合规，不自动保证语义正确。

实验结果：总体改善，但模型差异不可忽略

研究在两个本地运行的开放权重模型上测试了96项空间策略任务，并使用96任务的组合迁移基准。证据门控总体上显著减少了正确提案被破坏，同时保留了大部分违规修复。这一方向部分可由规则设计预期，但实际幅度取决于审查者的动作转移和上游提案状态。

最有价值的结果来自前瞻性验证阶段：当审查者被明确要求在“保留、替换、升级”中三选一时，Qwen没有再替换任何正确提案；Mistral却仍替换了全部48个正确提案。与此同时，Qwen拒绝了全部仅涉及福利改进的修复，而Mistral经常尝试这类修改。

这说明模型面对相同权限接口时采取了不同策略。Qwen更接近规则约束下的保守审查者；Mistral则表现出较强的替代倾向。两者差异不能简单归因于“是否理解证据门”，还可能来自指令遵循、奖励偏好、基础模型能力和对任务状态的判断差异。

工程权衡：减少误伤不等于提高总体正确率

证据门控的核心收益是缩小误改面（corruption surface），代价是缩小可修复域（correction domain）。如果验证器只承认硬约束违规，那么针对不违反形式规则、但可改善收益或福利的提案，审查者将无法覆盖。

生产部署需要明确区分：

• 硬约束：安全政策、格式、预算上限、合规要求，适合阻断式证据门控。
• 软优化：体验、收益、效率或偏好调整，不宜伪装成强制约束。
• 升级路径：证据不足以决定时，保留原提案并请求人工或更强策略处理。

误改与漏修之间可以用两个工程指标衡量：

$$ \text{Corruption Rate}=\frac{\text{正确提案被替换数}}{\text{正确提案总数}},\qquad \text{Repair Recall}=\frac{\text{被成功修复的违规提案数}}{\text{违规提案总数}} $$

但还应增加第三个指标：证据验证器的语义误判率。形式合法的证据也可能引用错误条款或错误定位对象，因此生产系统需要独立复核器、结构化约束存储以及回放测试。

评测局限：不能据此宣称受限审查普遍更优

论文的结论是审慎的：受限审查并非普遍优于广泛审查，其效果由审查者能力、动作接口和绑定管辖权共同决定。实验还暴露出两类重要局限。

第一，任务规模主要集中于空间策略和组合迁移，不能直接外推到代码修复、医疗建议、财务审批或具身控制。后者具有更长状态链、更强外部副作用和更高验证成本，需要不同证据机制。

第二，模型间差异意味着“加入证据门”不能被包装成开箱即用的安全层。系统上线前必须按目标模型分别测量误改率、修复召回率和升级率，不能用平均表现代替逐模型验证。

开发者落地建议

对正在构建多智能体审批链的团队，可以采用以下部署方式：

1. 结构化审查输出：强制模型返回违规约束 ID、证据片段、修复动作和置信说明。
2. 规则验证器前置：只有证据字段完整、约束可映射、修复不扩大权限时才允许覆盖。
3. 三态动作接口：默认保留，证据充分时替换，不确定时升级；不要让模型直接在二元“通过/否决”间切换。
4. 逐模型红队测试：专门构造“正确但措辞异常”“违规但修复无关”“仅软优化”三类样本，测试审查者是否会过度介入。
5. 记录完整决策轨迹：保存提案、证据、验证结果、最终动作和模型版本，确保错误覆盖可以归因到模型、提示词还是验证器。

工程上更稳妥的结论不是“审查模型越受限越安全”，而是：审查权限必须被实现为可验证、可回放且按模型校准的策略，而不是依赖模型自我克制。

---

消息来源：ArXiv AI (cs.AI) (2026-11-05)

—— 完 ——

主题标签： #多智能体系统 关注 #LLM审查 关注 #权限控制 关注 #证据门控 关注 #智能体安全 关注