推理模型越想越错:承诺—判决差距揭示停止准则盲区
摘要:论文区分推理链当前“立即停止会答对”的承诺与“继续到结束最终答对”的判决,指出只估最终正确性的探针无法判断继续思考的净收益。它把准确率—预算变化拆成链内答案变化与未结束链的选择效应。MATH-500上,DeepSeek-R1-Distill-Qwen-1.5B的379个已答对检查点继续后平均损失3.6个百分点;六模型、两类数学基准、最高16,384 token预算呈同类现象。Oracle停止规则在1.5B与7B上最多仅增1.8和2.5分,诊断价值明确,但部署仍受估计成本与误停风险制约。
核心结论
有害过度思考不是所有推理链都会同步退化,而是发生在少数会改写既有正确答案的轨迹上。论文把推理链某一时刻的停止决策拆成两个不同量:commitment是模型现在停止时会提交的答案是否正确,verdict则是继续生成后最终答案正确的概率。两者之差才决定“现在停”与“再想一段”谁更优;仅使用最终正确性探针无法完成这项比较。
从停止决策到可测概率
对第 i 条推理链、检查点 t,可定义:
C_i(t):在该点强制停止并提交当前答案时,答案正确的概率;若解码确定且答案解析可靠,可近似为0或1的指示值。V_i(t):从同一前缀继续到给定token预算时,最终答案正确的期望概率。G_stop(t) = C_i(t) - V_i(t):相较继续生成,立即停止带来的期望准确率增益。
按照这一符号约定,继续生成的期望收益是 V_i(t) - C_i(t),即停止收益的反值。只有当 G_stop(t) 明确为正时,提前停止才有统计与工程依据。
最终正确性探针通常只估计 V_i(t):它回答“沿着当前轨迹继续,最终答对的概率多大”,却不直接测量“现在提交是否已经答对”。两个终局概率即使随token增加发生变化,也不能替代从同一前缀分叉出的停止与继续反事实比较。更可靠的离线标注方式,是从同一检查点分别执行强制停止和多次继续 rollout,再配对估计 C_i(t) 与 V_i(t)。
为什么准确率会随预算增加反而下降
论文的第二个身份把任意准确率—预算曲线的变化拆成两部分:
ΔA(B) = ΔA_inside(B) + ΔA_mix(B)
其中,ΔA_inside(B) 表示仍在运行的同一批链内部,答案质量随推理继续发生的变化;ΔA_mix(B) 表示哪些链已经完成、哪些链因问题更难或需要更多token而继续占用预算所带来的构成变化。这一表述可理解为一种删失与生存者偏差:随着预算增加,容易完成的链退出样本,剩下的是更难的链,因此聚合准确率可以下降,即使尚在推理的链整体仍在改善。
这意味着,单看“更长预算下平均准确率下降”会误判原因。全局截断token上限虽然能降低成本,却可能恰好截断仍在改善的高价值轨迹;合理的停止策略必须按链判断,而不能只设置统一时限。
实验结果:风险真实存在,但可回收空间有限
在MATH-500上,研究选取DeepSeek-R1-Distill-Qwen-1.5B处于正确状态的379个轨迹点,而且选择过程不依赖链最终是否答对,规避了按结果挑样本的一类偏差。继续推理后,这批检查点对应的平均准确率下降3.6个百分点,95%置信区间为2.2—5.2个百分点。损失集中在少数题目上,说明平均值可能由少量“改对变错”的高影响轨迹驱动,而非每个检查点都有稳定的负收益。
跨三个模型家族的六个推理模型,在MATH-500、OlympiadBench及最高16,384 token预算下,多条准确率—预算曲线呈下降趋势;分解结果显示,下降主要来自仍在运行的链构成,而继续运行的链本身保持或改善答案。因而,聚合曲线不能直接解释为“增加思考预算会持续伤害模型能力”。
Oracle停止规则在1.5B与7B模型上最多分别提高1.8和2.5个准确率点。这个结果有两层含义:一是停止问题确实存在可测量的改进空间,二是即便允许规则看到未来结果,可回收的收益也不大。任何可部署策略的实际收益都会低于Oracle,还需扣除误停造成的损失。
评测边界与工程代价
- MATH-500和OlympiadBench具有可自动核验的标准答案,避免了LLM裁判噪声,但结论能否外推到代码、科学推理、工具调用和长程智能体仍未知。
- 摘要未披露六个模型的具体清单、采样温度、提示模板、停止器定义、随机种子及代码。379个轨迹点也可能共享同一问题或同一条链,复现时需检查置信区间是否按问题或链做了聚类。
- Oracle规则依赖未来轨迹,只能作为上界。若通过大量继续采样来估计判决概率,测量成本可能抵消提前停止节省的token。
- 强制停止时,模型未必已经形成可解析的最终答案。若把格式缺失或答案抽取失败计为错误,测到的将是解析器缺陷,而不是承诺与判决的差距。
- 数学题可使用精确答案验证器,开放式任务则需要规则判分、任务特定的验证器或人工复核。不同验证器会直接改变停止阈值。
- 少数题目贡献大部分损失意味着平均准确率并不足以描述风险,生产评估还应报告改错率、损失集中度及不同任务子类。
开发者落地路径
- 记录检查点而非只记最终结果:为每条链保存token位置、当前答案、候选答案、验证器分数、答案是否发生变化及终止原因。只记录最终轨迹无法重建当时的承诺。
- 构造配对反事实标签:在同一前缀上分叉强制停止与多次继续rollout,估计
C_i(t)、V_i(t)和G_stop(t);统计时应按问题聚类,避免把同一轨迹上的多个检查点当成独立样本。 - 训练轻量停止选择器:可使用当前答案正确性、候选间隔、答案振荡次数、验证器置信度、已用token、剩余难度和模型家族等特征预测
G_stop(t)。生产中不必在线执行完整未来rollout,可由小模型近似该差值。 - 采用选择性而非全局停止:仅在停止收益的保守估计为正时截断;对低置信度、长链或高难度样本默认继续。数学基准中的Oracle上限只有1.8—2.5点,意味着激进的普遍早停很可能得不偿失。
- 按任务和模型校准阈值:同一token阈值不能跨模型、跨解码温度直接复用。校准集应覆盖难题、易题、答案振荡和已答对后改错等边界情况。
- 以真实工作负载做A/B验证:同时跟踪最终准确率、答案改错率、平均与P95延迟、token成本、每个成功任务成本、停止覆盖率、误停损失及相对Oracle的regret。若只优化平均token数,很容易用大量难题失败换取表面降本。
论文的关键贡献不是已经给出一个可部署的停止器,而是明确了应该测什么:停止收益来自当前承诺与继续判决之差。下一阶段的重点应是用低成本探针逼近这一反事实量,并在有限Oracle收益下谨慎决定何时少想、何时继续想。
—— 完 ——消息来源:ArXiv AI (cs.AI) (2026-11-18)
主题标签: #推理模型 #过度思考 #停止准则 #MATH-500 #推理预算
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区