频率感知重掩码优化扩散语言模型测试时扩展

摘要：面向扩散语言模型，研究者提出两阶段测试时扩展框架：先用快速采样器处理简单问题，再对难题启用频率感知重掩码，依据Token预测在去噪步骤中的变化频率决定提交优先级，使采样避免过早收敛到单一推理路径。在LLaDA-8B-Instruct与Dream-7B-Instruct上，MATH-500准确率最高提升3.73和7.33个百分点，HumanEval覆盖率最高提升11.39和10.98个百分点。该方法无需重新训练模型，但额外去噪步骤会直接推高延迟与推理算力。

---

方法核心：把扩散语言模型的测试时扩展改造成“分层调度”

扩散语言模型（Diffusion Language Model，DLM）不按严格的从左到右顺序生成Token，而是从一组部分掩码的序列开始，通过多轮去噪逐步确定最终输出。每个位置何时被“提交”、何时重新掩码并再次预测，直接决定推理链能否继续探索。

论文提出的框架把测试时计算划分为两个阶段：

1. 快速基础采样：用较强的确定性或置信度策略处理低成本样本，尽快解决简单问题。
2. 频率感知重掩码：对基础策略未能解决的问题启用额外计算，记录每个候选Token在去噪过程中的预测变化次数，并优先提交变化频繁的位置。

这里的关键不是继续提高单步概率，而是利用完整的去噪轨迹。传统 certainty-aware decoding 主要依赖当前步骤的即时置信度或熵；这些局部指标可能把暂时稳定但实际错误的预测过早固化。频率统计则把“该位置是否反复摇摆”视为另一种不确定性信号。

核心机制：把重掩码从固定规则改造成历史感知策略

在标准DLM解码中，模型通常维护部分掩码位置集合，并在每个去噪步骤预测这些位置的Token。若某个位置被过早提交，后续推理即使发现整体路径不协调，也很难修改该Token；若持续重掩码，则会增加去噪轮数并可能让搜索停留在局部最优。

频率感知重掩码为每个候选位置维护跨步骤的预测变化计数。一个直观的形式是：

[ c_{i,t+1} = c_{i,t} + \mathbf{1}[y_i^{(t)} \ne y_i^{(t-1)}] ]

其中，(i) 表示Token位置，(y_i^{(t)}) 是第 (t) 个去噪步骤的预测，(c_{i,t}) 记录其变化频率。策略根据计数调整重掩码与提交优先级：频繁变化的位置说明模型尚未形成稳定判断，因而会被重新开放；长期保持稳定的预测则更早进入已提交区域。

与只观察当前置信度相比，这一机制利用了Token位置的时间序列信息。它更接近探索与利用之间的调度器：置信度主要回答“当前看起来多确定”，变化频率则回答“模型此前是否持续摇摆”。

为什么优先提交频繁变化的Token

直觉上，频繁变化似乎意味着更不确定，不应被优先提交。但论文的逻辑是：这些位置往往是推理链中的关键决策点，固定提交它们会让后续去噪过早锁定在一条可能错误的路径；重新开放这些位置则允许模型探索替代推理路径。

这一策略和传统自回归模型中的“提高temperature”并不等价。Temperature主要改变单次采样的随机性，频率感知重掩码则直接调整去噪调度，显式决定哪些位置拥有再次被推理的机会。它也不依赖重新训练或修改模型参数，主要发生在推理编排层。

实验结果：收益主要集中在困难样本与代码覆盖

研究在LLaDA-8B-Instruct和Dream-7B-Instruct上测试了该方法，并使用较强的自适应计算分配基线进行比较。

• 在MATH-500上，LLaDA-8B-Instruct的最高绝对准确率提升为3.73个百分点，Dream-7B-Instruct为7.33个百分点。
• 在HumanEval上，两者的最高绝对覆盖率提升分别为11.39和10.98个百分点。
• 对基础 certainty-aware 策略采样100次仍未解决的问题，频率感知重掩码恢复了其中3.75%至18.75%的样例。

最后一组结果尤其关键：收益不只来自更快完成简单问题，而来自把额外计算投放给基础策略真正无法解决的样本。这符合自适应测试时扩展的工程目标——将有限预算集中到高难度、高不确定性的请求上。

工程权衡：质量收益需要额外去噪成本

频率感知重掩码的主要代价是更多去噪步骤。每个候选Token都需要维护变化计数，而困难样本还需要重复执行预测、比较和重掩码操作。论文摘要没有披露端到端吞吐、每Token延迟、显存占用或相对基础采样的总算力倍率，因此不能仅凭准确率增益判断其在线价值。

实际部署至少需要关注以下问题：

• 路由阈值：基础策略何时判定样本“困难”会直接决定成本。过早升级会让所有请求进入昂贵阶段，过晚升级则会浪费已经消耗的采样预算。
• 并行性：DLM可在部分位置并行预测，但批次内样本难度不同，动态重掩码可能造成步数不齐和GPU利用率下降。
• 状态开销：跨去噪步骤维护预测历史会增加CPU内存或采样器状态管理复杂度，位置很多、序列很长时尤其明显。
• 采样稳定性：优先提交变化频繁的位置是一种启发式策略，并不保证每次都找到全局更优推理链；不同模型、任务和采样随机性下需要重新校准。

评测审视：增益可信，但覆盖面仍有限

MATH-500和HumanEval分别覆盖数学推理与代码生成，能够初步证明该策略不只对单一任务有效。论文同时报告多个模型、多个指标以及未解样本恢复率，证据强于单一演示案例。

不过，当前摘要没有说明MATH-500是否采用训练集污染排查、不同数学题型的分项结果、HumanEval的pass@k参数、采样温度与随机种子，也未给出等算力比较。如果改进方法使用了更多模型调用或去噪步骤，就应与同预算的自适应分配方法对比，而不仅是比较单次解码策略。否则，额外计算可能被误归因于更优的remasking规则。

开发者落地建议

对于使用LLaDA、Dream等扩散语言模型的研究团队，可按以下方式接入：

1. 在采样器中为每个未提交位置维护预测值与变化计数。
2. 先运行低成本基础策略，并对答案可靠性或停止条件进行阈值判断。
3. 对未解决样本启用重掩码阶段，提高关键决策点的再探索概率。
4. 同时记录基础采样次数、额外去噪步数、GPU时长和最终通过率，按请求难度核算单位成功答案成本。
5. 在业务上线前分别校准数学、代码、开放问答和工具调用任务，避免用单一阈值迁移到不同任务分布。

总体而言，这项工作的价值不在于提出新的基础模型，而在于重新利用扩散解码独有的去噪轨迹，把Token级预测变化转化为可调度的测试时信号。它为扩散语言模型的推理扩展提供了一条无需训练、但需要精细成本控制的工程路径。

---

消息来源：Hugging Face Daily Papers (2026-11-07)

—— 完 ——

主题标签： #扩散语言模型 关注 #测试时扩展 关注 #重掩码 关注 #推理计算分配 关注