HDM实现零Token或完整推理：按价值动态切换模型思考模式

摘要：HDM提出“zero-or-T thinking”范式：冻结同一语言模型骨干，在一次前向传播中直接给出答案，或在自路由模块判断推理值得付费时启动完整自回归推理。路由器依据隐式思考的预期增益与请求级价格阈值λ作决策；在缺少逐步标签的智能体任务中，团队以CDPO利用回合级回报训练路由策略。JevBench上，HDM-4B以0.857得分接近Jev的0.851，中位延迟从0.652秒降至0.179秒；MiniWoB上，HDM-27B减少80.1%的Token成本。

---

核心思路：不再压缩思维链，而是决定是否显式推理

现有自适应推理方法通常在“生成多少思维链Token”之间调整，或者在快速回答与完整推理之间切换，但最终答案仍要逐Token生成。HDM把决策粒度改为更彻底的两阶段选择：要么在一次前向传播中直接回答，不输出显式推理Token；要么承担完整自回归推理成本，生成最多T个推理Token后再作答。

这种设计的关键并不是让模型更快地写出更多推理，而是把“思考”本身纳入在线成本控制。对批量问答，它可减少没有必要的解码开销；对智能体任务，它又可把昂贵的推理预算集中到高价值决策。

架构机制：冻结骨干与轻量自路由块

HDM由两部分组成：冻结的共享模型骨干和轻量级self-routing block。骨干同时承担两种角色：快速模式在一次前向传播中形成隐式内部计算并直接输出答案；慢速模式则开启标准自回归解码，显式生成推理轨迹。

路由器读取隐式推理阶段已经形成的信息，估计慢速模式相对于快速模式的预期效用：

V(x) = E[U(y_T | x) - U(y_0 | x)]

其中，y_0代表零Token快速答案，y_T代表经过T个显式推理Token后的答案，V(x)是“思考价值”。当V(x) > λ时，系统才启动慢速模式。λ作为请求级价格参数，可按延迟、Token预算或业务价值调整，因此无需为所有请求固定一套推理策略。

从工程角度看，路由器与骨干解耦有三个好处：

• 冻结骨干避免为路由任务重复训练大模型主体；
• 路由器只增加少量参数和一次判别开销；
• λ可以在运行时按SLA动态调节，把模型服务映射为可配置的延迟—成本策略。

不过，“一次前向传播即可思考”并不等于零计算。模型仍需完成全部前向计算，只是不再为答案生成额外的解码Token。因此，HDM主要节省的是序列解码、KV Cache增长和自回归通信成本，而不是消除骨干模型的FLOPs。

CDPO：用回合回报训练“何时值得思考”

开放式智能体任务通常没有逐决策标签，无法直接告诉路由器某次调用慢速模式是否正确。论文提出Calibrated Decision Policy Optimisation（CDPO），以完整回合的环境回报训练自路由块。

其基本思路是让路由器根据当前任务状态选择快、慢模式，再将回合结果作为策略优化信号。与普通分类式路由不同，CDPO优化的是“启动额外推理后，未来累计收益是否提高”，能够直接处理慢速推理价值延迟出现的问题。

但回合级奖励会引入两个工程难题：奖励稀疏时，路由器难以判断错误究竟来自动作选择还是推理失败；长任务中，早期路由决策会通过状态变化影响后续轨迹，导致信用分配困难。论文摘要没有完整说明CDPO的奖励归因、方差控制及与PPO、GRPO等算法的严格对照，这也是判断其可复现性的关键缺口。

评测结果：性能接近基线，延迟和Token降幅更大

HDM在MMLU-Pro、AGIEval、GPQA-Diamond、JevBench、BANKING77和MiniWoB上进行评测。其中两项结果最能体现工程价值。

在JevBench上，HDM-4B得分0.857，略高于Jev的0.851，绝对提升0.006；中位延迟则从0.652秒降至0.179秒，下降72.5%。这意味着路由器在几乎没有牺牲准确率的情况下，把大量请求留在快速模式。

在MiniWoB智能体环境中，HDM-27B将Token成本降低80.1%。不过，这里降低的是生成Token数量还是包含提示、工具轨迹在内的总Token量，需要结合论文的计费口径确认；不同统计口径会显著影响80.1%这一数字的可比性。

这些结果仍应谨慎解读。JevBench与MiniWoB的任务分布、失败判定和采样预算并不相同，0.7%的准确率增益也可能落在统计波动范围内。更合理的结论是：HDM展示了用少量预测性能换取大幅服务成本下降的可行性，而不是已经在所有任务上建立普适优势。

工程权衡：快模式并非真正免费

HDM的主要收益来自跳过显式推理Token，但系统仍需为快速分支执行骨干前向计算，因此实际节省通常小于解码Token比例所暗示的幅度。对于长上下文任务，前向计算、注意力机制和首Token预填充可能继续占据主要延迟；路由器本身若需要读取完整隐藏状态，也会增加内存带宽和同步开销。

更关键的是路由误判具有不对称成本：

• 把本该慢思考的问题送入快模式，可能降低答案质量或造成智能体动作错误；
• 把简单问题送入慢模式，会浪费Token、延迟和推理服务容量。

因此，生产部署不能只按平均准确率调λ，还需要分别监控快模式准确率、误路由率、慢模式触发比例、P50/P95延迟以及每次成功任务的实际成本。对高风险智能体动作，可以保留强制慢推理通道，或要求模型在低置信度时升级，而不是完全交给单一价值估计器。

开发者落地建议

HDM思想可在现有推理栈中以模型无关方式实现。工程团队可先保留现有模型和显式推理模板，在其前后增加轻量分类器，估计请求是否需要长推理，再用统一调度层控制Fast与Slow分支。

推荐上线顺序：

1. 用历史请求日志建立“快速答案与完整推理答案”的质量差数据集；
2. 训练一个独立路由器，而不是改动主模型权重；
3. 先以影子模式记录路由决策，校准价值与成本曲线；
4. 按业务SLA设置λ，例如普通摘要低阈值、高价值决策高阈值；
5. 对错误升级、低置信度和高风险工具调用设置强制慢模式兜底；
6. 同时报告准确率、误路由率、延迟和成功任务成本，避免只用Token降幅评价系统。

若任务具备环境验证器或单元测试，可采用类似CDPO的回合级反馈继续优化路由策略；若只有静态问答数据，则可先用成对生成结果构造蒸馏标签。冻结主模型也使这套方案更容易在现有API之外、私有部署或边缘设备上实现。

结论

HDM的价值在于把自适应推理从“少写几步思维链”提升为“是否值得进行显式推理”的经济决策。它用轻量路由器、冻结骨干和可调λ，将准确率、延迟与Token成本放到同一控制框架中。现有结果证明这一路线能显著降低JevBench延迟和MiniWoB Token消耗，但泛化边界、CDPO稳定性及跨任务收益仍需独立复现。

---

消息来源：Hugging Face Daily Papers (2026-11-12)

—— 完 ——

主题标签： #HDM 关注 #自适应推理 关注 #模型路由 关注 #强化学习 关注 #推理成本优化 关注