SELD检测上下文压缩中的静默证据丢失

摘要：长上下文压缩可能删除回答所依赖的证据，却仍让模型给出相同答案，形成难以发现的静默证据损失。SELD不依赖训练和标注，而是比较压缩前后阅读器模型对未说出口候选答案的偏好变化，以捕捉答案输出未反映的证据受损。配套的SEL-Pairs基准通过三个问答数据集构造等长的证据删除与控制删除；实验覆盖五种阅读器模型、多种压缩器与压缩率，在答案不变的配对样本中，SELD识别证据删除编辑的准确率达到83%，高于最强基线的70%。该方法适合作为长上下文摘要、检索压缩与记忆管理流水线的质量门禁，但误报阈值、跨模型迁移和真实线上收益仍需验证。

---

核心问题：答案不变，不代表证据完整

长上下文系统通常会通过摘要、片段选择或令牌级压缩减少阅读器模型的输入成本，但现有质量检查通常只比较最终答案、最高概率词或困惑度。这种检查存在一个结构性盲区：关键证据可能已经被删除，模型只是依靠记忆、相关性巧合或剩余上下文继续给出同一答案。

这类**静默证据损失（silent evidence loss）**尤其危险。当前模型尚可能“猜对”，但压缩后的上下文一旦被缓存、写入外部记忆，或交给另一个模型复用，正确答案便失去了可追溯依据。SELD因此不判断“答案是否变化”，而是判断“模型对备选答案的偏好结构是否因压缩而异常移动”。

SELD如何利用未说出口的答案

SELD的核心观察是：证据被删除后，阅读器模型的首选答案可以不变，但其他候选答案之间的相对排序可能改变。因此，比较压缩前后完整候选答案的偏好分布，比只看Top-1输出能暴露更多证据损失。

从工程上看，这类方法通常需要完成以下步骤：

1. 对原始上下文与压缩上下文分别执行阅读器推理。
2. 收集模型未直接输出的候选答案及其条件概率或分数。
3. 将两组候选偏好对齐，比较排序、分布距离或与原始上下文的偏差。
4. 当偏好发生显著变化、但最终答案未变时，将其标记为潜在静默证据损失。

论文摘要未披露候选答案如何生成、分数如何归一化以及统计显著性检验的具体实现，因此不能把83%直接理解为生产环境中的通用准确率。其工程门槛更可能落在额外采样与打分成本，而非模型训练成本：检测需要访问阅读器模型的候选分布，若只能调用封闭API取得有限候选，信号完整度会明显下降。

SEL-Pairs为何需要等长控制删除

SEL-Pairs从三个问答数据集构造证据删除与控制删除，并匹配删除长度。这一设计避免了一个容易抬高结果的混淆因素：模型可能只是因为输入变短、位置变化或语言流畅度改变而暴露差异，而不是因为真正删除了证据。

等长控制样本相当于给检测器施加了更严格的反事实检验：若证据删除与普通内容删除产生不同信号，方法才更可能定位“证据被移除”，而非识别一般性的分布偏移。基准规模、三个数据集的构成、压缩器实现和不同压缩率的完整曲线仍是判断泛化能力的关键。

实验结果与评测边界

论文在五种阅读器模型上测试了SELD，并覆盖多种压缩器与压缩率。按照摘要报告，在最终答案保持不变的匹配样本中，SELD有83%的概率识别出真正删除证据的编辑，最强基线为70%，绝对提升13个百分点。

这组结果说明候选偏好比较确实捕捉到了部分仅靠答案检查不可见的信息，但仍有几个评测问题需要核查：

• 配对任务与开放任务的差距：在已知证据删除位置的配对样本中识别编辑，不等于在真实压缩流中判断某段上下文是否可安全复用。
• 基线强度：需要确认基线是否包含语义蕴含、证据归因、扰动敏感性和多次重采样等相近方法，而非仅使用简单的答案一致率检查。
• 错误代价不对称：漏报会把无依据上下文继续交给下游模型；误报则可能阻止有效压缩或触发昂贵重试。部署时应同时报告召回率、精确率及单位Token节省成本。
• 模型依赖：阅读器模型的候选排序能力与校准质量会影响检测结果，跨模型、跨指令模板和跨任务的稳定性需要独立复现。

开发者落地建议

SELD最适合作为上下文流水线中的证据完整性门禁，而不是压缩算法本身的替代品。可在摘要器或检索器输出后增加离线审计层，对高风险知识库、跨模型共享记忆和长文档问答执行抽样检测。

一个可行的部署流程是：

1. 保留原始证据片段或内容寻址引用，避免压缩后无法定位证据来源。
2. 对压缩结果运行阅读器，并导出Top-k候选及概率。
3. 计算压缩前后的偏好分布差异，标记“答案一致但候选排序显著漂移”的样本。
4. 对高风险片段回退到原文、扩大检索窗口或生成可引用的证据摘要。
5. 在生产日志中持续记录检测误报、证据回退率、端到端准确率和Token成本变化。

如果系统使用缓存式压缩，建议按“压缩上下文版本＋阅读器模型版本＋提示模板”绑定检测结果。更换模型、量化方式或提示词后，旧检测结论不应自动继承。

成本与收益取舍

SELD无需训练、无需人工标注，这是其相对监督式证据验证器的优势；代价则是运行时需要访问候选分布，并可能增加多次前向调用。如果检测器与阅读器共享一次生成调用，增量成本可能较低；若需要为原始和压缩上下文分别采样多个候选，成本会随候选数、上下文长度和采样次数增长。

实际采用前，应重点验证三项指标：每百万Token的检测开销、证据损失拦截率，以及因误报触发的重压缩成本。只有当一次静默证据损失会导致更昂贵的错误决策、污染长期记忆或跨系统复用时，按量付费的审计才具有明确经济价值。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-11)

—— 完 ——

主题标签： #上下文压缩 关注 #静默证据损失 关注 #长上下文 关注 #模型评测 关注 #证据完整性 关注