DeepStress动态注入劣质证据，检验深度搜索智能体可靠性

摘要：DeepStress 是一套面向深度搜索智能体的动态压力测试框架：它以合成环境替换真实检索器，按查询独立控制文档的可信度、相关性与事实性，从而稳定复现低质量证据下的失效。研究以五分类结果描述正确、错误、拒答等行为，并提出 RAS 与 CoPRAS，在奖励谨慎回答的同时计入计算成本。对 HotpotQA 和 BrowseComp-Plus 上12套系统的实验显示，一些开放权重智能体会在来源出现明显可信度警示时仍自信作答；更值得警惕的是，当检索文档全部错误时，部分 HotpotQA 答案其实来自模型参数记忆，而非检索证据。

---

动态构造证据污染，而不是等待低质量检索偶发失效

深度搜索智能体通常依靠检索、阅读、推理和工具调用完成多步问答，但现有基准中的文档大多默认可信且基本相关，真实部署中的低质网页、过期资料、伪权威来源和互相矛盾的信息很少被稳定复现。DeepStress 将检索模块替换为按查询即时生成文档的合成环境，并分别控制三类属性：

• Trustworthiness：文档是否具有可信来源特征；
• Relevance：文档与问题及中间推理链是否相关；
• Factuality：文档陈述是否真实成立。

三者独立控制是关键工程设计。若只注入错误事实，模型可以通过来源名称、措辞或主题匹配识别异常；若只注入无关文档，则测到的是检索噪声处理，而不是“不可信证据下的信念更新”。独立变量还能组合出看似相关、来源可信但内容错误等更具攻击性的条件。

与固定语料中的“负样本”相比，动态生成减少了对既有错误案例的依赖，也允许同一问题以不同污染比例重复测试。不过，合成文档能否覆盖真实网页中的语义漂移、站点投毒、提示注入和多源冲突，仍需通过真实检索环境复核。

五分类结果比单一准确率更接近智能体行为

传统准确率将“答对”和“答错”之外的行为压缩为同一类失败，无法区分智能体是否识别证据不足、是否基于参数知识作答，以及是否在错误证据上自信作答。DeepStress 因此采用五分类结果体系，并提出 RAS 与 CoPRAS 两项可靠性指标：前者奖励在证据不可信时采取谨慎行为，后者进一步把额外搜索、工具调用和推理所消耗的计算成本纳入权衡。

这种设计反映了一个现实约束：智能体拒答或继续查证并非免费。提高验证次数可以降低错误答案率，却会增加延迟、Token 消耗及后端负载；只奖励最终正确率，又可能诱导系统用更长链路换取有限增益。RAS 与 CoPRAS 的核心价值，是把“何时相信”“何时停止搜索”和“是否值得继续查证”从模型策略中显式分离出来。不过，摘要未给出两项指标的完整公式、权重选取及置信区间，实际解释仍应等待论文正文。

实验暴露两类隐蔽失效

研究在 HotpotQA 与 BrowseComp-Plus 的问题上评测了12套系统，主要发现包括：

1. 可信度警示没有被充分利用。 部分开放权重智能体面对明显不可信来源时仍给出高置信答案，说明模型可能把检索文本当作事实输入，却没有建立足够稳定的来源可信度表示。
2. 参数记忆会伪装成检索增强。 在 HotpotQA 中，许多问题即使返回的文档全部错误，模型仍能答对。这不一定代表检索有效，而可能来自训练阶段已经记住问题、实体关系或答案模式。

第二点尤其影响搜索智能体的能力归因。如果测试题本身已泄漏进训练集，静态多跳问答中的高分就可能来自参数知识捷径，而非证据检索和多步推理。动态事实错误注入相当于对这种“伪检索成功”做差分检测：若文档错误而答案不变，答案正确性不能归功于当前检索结果。

评测有效性的边界

DeepStress 比静态污染集更适合做受控消融，但仍不能单独代表真实搜索环境。合成文档由生成模型构造时，可能带有可被受测系统识别的风格痕迹；文档是否真正遵循自然网页结构、引用惯例和信息冲突模式，也会影响结论外推。HotpotQA 与 BrowseComp-Plus 的问题分布也不等同于开放域搜索，前者偏多跳事实组合，后者更接近复杂浏览任务。

此外，论文摘要未披露受测系统的模型版本、检索与浏览工具配置、搜索预算、指标数值及显著性检验。不同系统在思考预算、上下文长度和工具调用策略上的差异，都可能影响“自信作答”或“继续查证”的行为。因而，这项结果更适合作为选择评测协议和设计回归测试的起点，而不是直接给出智能体安全排名。

开发者如何使用这一评测范式

对搜索智能体研发团队，DeepStress 提供了一套可转化为 CI 流程的测试方法：

• 为每条问题生成多种证据组合，分别改变可信度、相关性和事实性；
• 检查模型是否引用了被污染的事实，以及是否能在证据冲突时升级搜索；
• 将“答案正确”拆分为正确、错误、拒答、参数作答等可诊断状态；
• 在准确率之外记录额外搜索轮数、Token、工具调用和端到端延迟；
• 用同一问题在正常证据与错误证据下的答案差分，识别参数记忆捷径。

生产系统还应加入静态语料之外的真实网络回放：动态合成用于可重复的回归测试，真实抓取用于验证污染特征是否超出生成器的覆盖范围。只有把这两类环境结合，RAS 与 CoPRAS 才能从论文指标转化为线上可靠性预算。

研究结论

DeepStress 的突破不在于提出新的搜索智能体，而在于重新定义搜索能力的验证方式：检索是否返回答案，与智能体是否正确使用证据，是两个不同问题。该框架通过可控污染、五分类诊断与成本敏感指标，暴露了开放权重系统中的置信度失配和参数知识捷径，为构建更诚实的深度搜索评测提供了方法基础。

---

消息来源：Hugging Face Daily Papers (2026-11-12)

—— 完 ——

主题标签： #DeepStress 关注 #深度搜索智能体 关注 #鲁棒性评测 关注 #检索增强生成 关注 #可靠性 关注