拒答率不等于守规：开放模型为何没有响应置信阈值

摘要：Kalai 等人评估四套完全开放语言模型训练配方、12 个后训练检查点及最大 32B 的探索模型，发现仅要求模型回答或输出“I abstain”，虽可把平均拒答率从 20% 推高至 91%，却不能证明其遵守“答案正确概率超过阈值 t 才回答”的规则。在该格式内，将阈值从 0.5 提至 0.9，拒答率仅下降 0.8 个百分点；取消格式约束后，更高阈值甚至降低拒答。研究同时表明，事后校准的 P(True) 会随评分器及分布变化而失效。评估必须同时检查拒答率、阈值响应性和选择性风险，不能把高拒答率当成校准证据。

---

核心发现：拒答格式制造了“合规假象”

这项研究检验的不是模型会不会说“我不知道”，而是它是否真正执行了可检验的决策规则：当答案正确概率高于显式阈值 t 时回答，否则拒答。研究覆盖四套完全开放的 3B—8B 训练配方、三个后训练阶段的 12 个检查点，并探索了最大 32B 的模型。

结果揭示了一个重要区别：拒答率是行为统计量，阈值响应才是策略合规证据。在 t = 0.75 时，只加入“只能回答或输出 I abstain”的格式限制，就把平均拒答率从 20% 提高到 91%；但在同一格式内将阈值从 0.5 提高到 0.9，平均拒答率只下降 0.8 个百分点。若移除格式限制，更高的阈值有时反而导致模型更多作答。

这意味着格式指令主要改变了输出分布，并未让模型形成可解释的置信度决策函数。

机制拆解：合规策略需要满足哪些条件

设模型对题目 x 的内部正确概率为 p(x)，提示中声明阈值为 t。一个理想策略应满足：

answer(x) = 1[p(x) > t]

因此，合规行为至少需要满足三个条件：

1. 阈值单调性：阈值越高，回答覆盖率应不增加。
2. 概率一致性：在相同答案与相同正确概率下，模型应给出相同决策。
3. 提示稳定性：改变阈值以外的语言表述，不应无规律地改变答案或决策。

研究使用共享题目逐项比较不同阈值和提示条件，发现最高有 40% 的样本无法由任何“阈值独立信念”合规策略解释。也就是说，这些样本可能来自答案漂移、格式触发、评分器噪声或模型内部状态变化，而非对正确概率阈值的稳定响应。

这比单纯测平均准确率更严格，因为一个模型即使经常拒答，也可能只是学会了检测某种提示风格，而不是依据自身答案可靠性决策。

为什么 P(True) 也不能直接充当置信度

模型常通过 P(True) 之类自评估信号估计答案是否正确。研究发现，这种信号并不稳定：

• 比较结果依赖评分器定义和提示模板；
• 改变提示可能使答案内容漂移，进而改变自评估概率；
• 在评测分布上事后校准的方法，无法保证迁移到其他数据集；
• 在 TriviaQA 上校准后迁移至 PopQA，效果可能低于简单的拒答格式。

只有先在外部阈值上应用经过校准的概率，coverage 才能在构造上随 t 单调不增。换言之，保证数学性质的是外部校准器，而不是模型口头声称自己“理解了阈值”。

这种分布依赖也带来典型工程代价：线上评估集上拟合的校准参数，如果与生产流量中的题目难度、领域或答案漂移不一致，coverage 曲线会失真。要获得可靠阈值，必须持续监控分桶准确率、ECE、风险—覆盖曲线，并按领域维护校准集。

后训练为什么仍没教会模型服从新阈值

在 OLMo 3 7B 上，用阈值条件化的目标训练决策，并未让模型在未见阈值上保持一致。一个事后变体通过四个阈值训练后，确实表现为“阈值越高，回答越少”，但仍未通过预注册测试，主要失败点是与训练规则的一致性。

这说明仅仅在训练样本中混合多个阈值标签并不够。模型需要把阈值表示为与答案置信度解耦的条件变量，并在推理时执行稳定的单调策略。工程上还需要处理三个问题：

• 阈值采样是否覆盖连续取值，而不只是少数离散标签；
• 训练标签是否对应校准后的可靠性，而非直接采用未校准的生成概率；
• 是否加入针对单调性、跨阈值一致性和提示不变性的显式评测。

评测建议：把拒答、校准和选择性风险分开

研究给出的结论直接改变了 stated scoring rules 的报告方式。高 abstention rate 不能作为合规证据，至少应同时报告：

1. 总体与分桶拒答率：避免整体平均掩盖不同领域或难度上的异常行为；
2. 阈值响应曲线：比较 t 从低到高时，coverage 是否单调下降；
3. 决策一致性：固定问题与答案，只改变阈值，观察模型是否按规则改变决策；
4. 实际回答分布：记录模型最终回答了哪些题，而不只统计拒答数量；
5. 选择性风险：在给定 coverage 下，正确率是否优于随机拒答基线；
6. 校准与迁移：分别报告同分布事后校准和跨数据集外推结果。

尤其要联合查看 coverage 与 accuracy。一个模型可以对 90% 的问题拒答，同时把剩余 10% 集中于最容易的题；这可能提高平均准确率，却不代表其正确概率估计可靠。反过来，如果降低 coverage 没有带来相应的风险下降，这种“更保守”也没有业务价值。

开发者落地建议

对于在问答、客服或自动化系统中使用模型拒答的团队，建议把置信阈值实现为模型外部的校准与路由层，而不是依赖提示词。先收集模型答案、延迟答案正确性及人工标签，在目标流量上拟合概率校准器，再由外部阈值决定是否输出答案、请求澄清或转人工。

上线时需要预留至少三类数据：训练集之外的校准集、跨领域验证集，以及专门构造的阈值一致性探针。监控面板应把阈值、模型版本、校准器版本和答案内容共同记录，否则无法区分模型更新、提示漂移与校准退化。

局限与启示

研究聚焦 3B—32B 的开放模型、共享题目和特定后训练阶段，不能直接外推到闭源前沿模型或所有知识型任务；事后校准结果也可能受评分器实现影响。但它揭示的工程规律具有普遍性：输出格式、行为统计和规则合规是三个不同概念，不能相互替代。

对于模型安全与可靠性评测，真正需要证明的是模型在受控干预下是否呈现可预测的策略变化，而不是它是否在提示后更频繁地说“I abstain”。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-13)

—— 完 ——

主题标签： #大模型评估 关注 #置信度校准 关注 #拒答机制 关注 #阈值一致性 关注 #开放模型 关注