腾讯DSpine把因果条件注入模型深层，提升推测解码吞吐

摘要：腾讯提出DSpine并行推测解码框架，在草稿模型每一层将前驱位置的预测特征门控注入后继位置，使因果条件链沿网络深度展开，同时保留所有位置的并行计算。其以目标模型输出嵌入作为统一特征空间，并通过逐层监督强化浅层预测。论文在Qwen3-4B与Qwen3-8B的七项数学、代码和对话基准上取得更长接受长度；其中Qwen3-8B在零温度下将平均接受长度由DFlash的3.77提升至4.82，并在SGLang服务测试中报告平均吞吐提升23.3%。

---

核心思路

并行推测解码通常让草稿模型在一次前向传播中预测多个连续Token，随后由目标模型并行验证。问题在于，各位置若近似独立选词，前驱Token与后继Token可能缺乏连贯性，最终只有较短的候选前缀能够被目标模型接受。

DSpine不再把条件解码完全留给主干网络之后的轻量模块，而是在草稿模型的每一层执行“相邻因果注入”：位置 (i) 的预测特征经过门控后写入位置 (i+1)，使信息沿网络深度逐层传递。所有位置仍在同一层内并行更新，因此不会退化为逐Token串行生成。

特征注入机制

论文基于对DFlash的分析提出：浅层其实已经包含可恢复的下一Token预测信息，而准确的前驱特征越早进入后继位置，条件解码效果越好。

DSpine主要包含三项设计：

1. 逐层相邻因果注入：每层都把前驱位置的特征传给后继位置，并以门控限制注入强度。
2. 统一传递空间：使用目标模型的输出嵌入作为中间特征空间，使草稿模型的层间注入与最终的前驱条件解码共享同一语义坐标系。
3. 逐层输出嵌入监督：训练时约束不同深度形成可映射到目标词表空间的预测特征，促使浅层提前形成可用于后续条件化的信息。

这种设计避免了完整、显式的Token级因果注意力链，但并不等于消除序列依赖：前驱信息仍通过隐藏状态中的特征通路传播。

并行性与工程权衡

推测解码的有效吞吐可近似理解为：

[ TPS_{system} \approx TPS_{target} \times \frac{E[\gamma]}{\gamma} ]

其中 (\gamma) 是每个目标Token对应的草稿Token数，(E[\gamma]) 是实际接受的草稿数量。DSpine主要通过提高 (E[\gamma]) 获得收益，而不是盲目增加候选长度。

相较串行草稿生成，DSpine减少了大模型逐Token调用的开销；但代价是草稿主干必须在每个位置维护条件特征，并增加层间注入、融合内核和缓存管理。融合内核与transition cache是这一设计能否真正转化为吞吐提升的关键：如果注入或同步开销抵消了接受长度增益，纸面接受率提升未必转化为端到端收益。

此外，23.3%的服务吞吐提升是相对DFlash的对比结果，不代表相对所有推测解码实现都有同等优势。不同方法的草稿长度、验证批处理策略、批大小、硬件和缓存状态均可能显著影响最终吞吐。

评测表现与可信度

论文在七项数学、代码和对话基准上测试Qwen3-4B与Qwen3-8B，并覆盖两种温度。Qwen3-8B在零温度下，七项基准的平均接受长度从DFlash的3.77提高到4.82，增幅27.8%；在SGLang服务测试中，平均吞吐提升23.3%。

接受长度比Token准确率更适合衡量推测解码，因为最终输出仍由目标模型验证，错误候选原则上不会直接进入生成结果。不过，该指标高度依赖任务分布、目标模型和解码设置。若不同方法采用不同的候选长度、温度校准或验证实现，仅比较平均接受长度仍可能产生偏差。论文结果以官方实验为主，仍需独立复现，并观察收益能否跨模型规模、量化方式及更长上下文保持。

开发者落地建议

DSpine已经公开论文、GitHub代码、模型资源与项目页，定位是面向SGLang的推测解码加速方案。工程团队可按以下顺序评估：

• 先固定目标模型、请求集、输出长度和并发度，避免用不同解码配置制造虚假加速；
• 同时记录接受长度、端到端TPOT、整体吞吐、目标模型验证成本及GPU显存占用；
• 分别测试数学、代码、对话和长上下文负载，因为条件连贯性收益通常与任务类型相关；
• 对比关闭transition cache、不同批大小和不同候选长度下的结果，定位瓶颈究竟在接受率、验证开销还是缓存同步；
• 检查融合内核对不同GPU架构及量化模型的实际支持，避免将官方单硬件结果直接外推到生产环境。

潜在影响

若DSpine的收益能够在不同目标模型和服务负载上复现，它将为SGLang提供一种不依赖完全串行草稿的提速路径，尤其适合需要较高并发的大模型API。其更广泛意义在于：推测解码的优化目标正从“生成更多候选”转向“让候选在网络内部形成更一致的因果结构”，把并行效率与序列一致性放进同一个训练与推理框架中联合优化。

---

消息来源：Reddit r/LocalLLaMA (2026-11-07)

—— 完 ——

主题标签： #DSpine 关注 #推测解码 关注 #SGLang 关注 #因果特征注入 关注 #并行推理 关注