MedGuard以工具层校验提升临床智能体容错能力

摘要：临床智能体即使能完成标准任务，也可能在工具返回异常时检索错误证据、误写患者记录或漏掉必要状态更新。论文提出故障注入基准MedToolFault，将六类工具故障与答案正确性、必要状态变更及禁止修改绑定；同时提出工具层方案MedGuard，通过公开接口核验读取证据并归因含糊写入。九种模型配置、127861次形式化回合显示，无防护智能体在原本可解任务上的故障注入失败率达32.2%—67.8%，MedGuard将配对安全成功率提升13.7—46.6个百分点。该工作把临床智能体评测从“正常路径能否完成”推进到“工具失真时是否仍能安全行动”。

---

临床智能体的短板不在正常流程，而在工具失真

论文的核心发现很直接：九种受测模型配置在无故障环境中能够完成的临床智能体任务，一旦工具层注入故障，失败率便升至32.2%—67.8%。也就是说，模型能在正常返回中构造答案，并不代表它能识别证据过期、状态冲突或写入语义含糊；错误一旦跨过工具边界，就可能转化为漏改病历、错误检索或不允许的记录变更。

MedToolFault把评测对象从单轮问答改成状态化任务：除了检查最终答案，还要验证工具调用前后患者记录是否发生了规定的变化，以及是否引入了禁止修改。这比仅比较文本相似度更接近临床智能体真正需要承担的责任。

MedToolFault如何注入工具故障

该基准覆盖六类工具故障，并将每类故障绑定到三项结果约束：答案是否正确、哪些状态更新必须发生、哪些写入必须禁止。这样做避免了两个常见评测漏洞：一是只注入常见网络异常，使基准退化为重试测试；二是只看最终回答，忽略智能体是否通过错误工具调用污染了外部状态。

论文还考察故障恢复、机制控制、任务扩展、受限工具预算和外部问答，共完成127861次形式化回合评估。所谓“配对安全成功”尤其关键：同一模型配置先在无故障条件下解出任务，再接受对应故障注入；只有答案正确、必要状态变化完成且禁止修改未发生时，才计为安全成功。它比把所有任务简单混合后计算平均成功率更能识别防御机制的真实增益。

MedGuard：把可靠性控制放在工具层

MedGuard并非让模型重新学习一套复杂的“谨慎推理流程”，而是在工具边界增加验证：读取阶段核验返回证据是否足以支持当前动作，写入阶段则对意图含糊或归因不清的调用进行拦截或归因。

这种分层设计有两个工程优势。第一，它不要求修改基础模型，适合给既有临床智能体增加外围防护；第二，它将失败检测放在模型与外部系统之间，可覆盖过时数据、接口歧义和状态冲突等基础设施问题。其代价是额外验证开销：每次读取和写入都可能需要额外调用、规则检查或审计日志，收益能否覆盖生产环境中的延迟与调用成本，需要结合完整实验数据评估。

安全提升不等于临床有效性证明

13.7—46.6个百分点的配对安全成功率提升显示，工具层校验具有显著潜力，但这一指标不能直接等同于真实临床可靠性。首先，论文使用公开临床智能体任务，任务分布、工具实现和故障注入方式与医院内部系统存在差异；其次，故障是可控且预定义的，无法完全覆盖接口超时、数据漂移、权限变化及多工具并发造成的新型失效。

此外，MedGuard依赖工具公开接口提供的状态与语义信息。如果生产接口缺少版本号、时间戳、幂等键或写入来源，读取证据校验和写入归因可能并不完整。安全策略还必须区分“拒绝动作”和“安全完成任务”：过度保守的防护虽然减少错误写入，也可能降低临床可用性，因此应同时报告安全成功率、任务完成率、误拒率、平均工具调用数和端到端延迟。

落地建议：先建立可验证的工具契约

医疗机构若要复用这一思路，优先事项不是直接采购某个代理框架，而是把工具返回改造成可验证对象。读取接口应返回数据版本、来源时间戳、患者标识和一致性状态；写入接口应支持预条件、幂等操作、变更预览与明确拒绝原因；日志层应记录每次调用的输入摘要、验证结果和最终状态差异。

上线前还应建立分层回归集：正常路径、单一故障、组合故障、跨工具状态冲突以及权限异常分别测试，并按临床风险加权，而不是只看平均成功率。生产策略可采用“低风险动作自动执行、高风险写入要求确定性验证或人工确认”的组合，在安全性与吞吐量之间建立可解释的权衡。

更大的意义

MedToolFault与MedGuard的价值，不只是给出一个临床智能体排行榜，而是揭示智能体系统评测中的一个基本缺口：模型能力与工具可靠性不能混为一项指标。即使底层模型更强，只要工具会返回冲突或含糊状态，智能体仍可能在成功调用工具的同时做出错误决策。

这意味着面向医疗、金融和关键基础设施的智能体，应把工具层故障注入、状态变更验证和可审计恢复纳入发布门槛。MedGuard展示了这类防护的可行方向，但论文摘要尚未给出全部任务分布、各故障类别贡献、额外延迟、调用成本以及真实医院环境验证，部署前仍需独立复现和更严格的临床安全评估。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-10)

—— 完 ——

主题标签： #临床智能体 关注 #故障注入 关注 #工具调用安全 关注 #状态验证 关注 #MedGuard 关注