网易有道开源稳定前缀流式ASR模型Confucius4-R2T2

摘要：网易有道发布并开源Confucius4-R2T2，一款面向实时转写的流式语音识别模型。其核心是“最长稳定前缀”（LSP）目标：在后续音频到达后不修改已输出文本，同时保持与全上下文解码一致的方向性约束。团队以冻结音频编码器和投影层的Qwen3-ASR-1.7B为基础，使用1500小时中英文音频进行后训练，无需修改模型架构即可获得稳定前缀行为。模型权重与代码均已开放，为翻译器、语音智能体及其他需要增量消费Token的系统提供了更可靠的工程路径。

---

核心发布：把“不能改口”变成流式ASR的训练目标

Confucius4-R2T2由网易有dao团队推出，定位是“真实实时转写”（Real Real-Time Transcription）模型。传统流式ASR虽然可以增量输出，但后续音频可能改变模型对前文或当前词的判断。对实时翻译、语音智能体和工具调用系统而言，已经发送或执行的Token如果随后被改写，不仅会浪费下游计算，还可能触发错误动作。

R2T2的目标是输出稳定前缀：在音频持续输入时，模型已经输出的前缀不再被后续结果推翻，同时尽量保持全上下文ASR的识别质量。

技术机制：最长稳定前缀（LSP）

论文提出最长稳定前缀（Longest Stable Prefix，LSP）作为流式训练标签。其核心不是简单地截取当前完整音频的转写，而是从完整上下文输出中构造一个满足稳定性的前缀：在后续解码结果到来时，这个前缀应保持不变。

研究给出了LSP在偏序关系下的单调性，并说明它与完整音频输出的关系，同时在所有与既有输出整体相等的标签中具有最大性。换言之，LSP不仅提供“当前不能改”的约束，也明确了可保留的最长稳定边界，避免训练目标过短或过度保守。

工程上，这种后训练方式不需要引入额外的状态机、缓存回滚机制或修改解码器。模型仍然使用原有的编码器、投影层和生成结构，主要变化在于监督标签：训练目标从普通完整转写序列，转为强调稳定前缀的标签序列。

模型与训练配置

R2T2以Qwen3-ASR-1.7B为基础模型，使用1500小时中文和英文音频进行后训练。音频编码器和预训练投影层被冻结，因此新增训练主要集中在语音到文本映射及生成行为适配阶段。

这种设计有两点工程含义：

1. 训练成本低于全量解冻。 冻结大规模音频编码器可以降低梯度更新和优化器状态开销，尤其适合希望复用现有语音模型能力的团队。
2. 部署结构保持兼容。 不改变模型架构意味着已有推理框架、量化方案和采样逻辑更容易复用，不必为R2T2单独设计解码路径。

不过，1.7B规模并不自动意味着适合所有端侧场景。实际部署仍需测量首Token延迟、每个音频块的编码开销、KV Cache增长以及长对话或长音频下的显存占用。

工程权衡：稳定性与信息延迟

稳定前缀的本质是牺牲一部分“立即修正最新识别结果”的自由，换取已经输出内容的可信度。对于实时翻译或语音智能体，这种权衡通常是合理的，因为下游动作一旦基于错误Token执行，修正成本可能远高于识别端多等待几十到几百毫秒。

但R2T2并不等于无限降低延迟。所谓低emission lag仍需在真实硬件、流式切块长度和网络抖动条件下测量；不同场景的最优平衡点也不同：字幕显示可以容忍更高修订率，而支付确认、客服工单或机器人动作则更依赖不可撤回的前缀。

稳定前缀还可能带来一个反直觉现象：当用户口误、重复或自我更正时，模型为了保持已输出内容，可能更倾向于延续当前解释，而不是立即切换到新说法。若下游需要区分“稳定识别结果”和“最新置信结果”，应用层可以同时维护已提交前缀与内部候选后缀，但不能把候选后缀直接再次暴露给执行动作链。

评测结果应如何看

论文报告，R2T2在流式识别场景中接近Qwen3-ASR-1.7B的全上下文质量，同时提供稳定文本和较低的输出延迟；此外，收益还扩展到了后训练所覆盖语言之外。

这些结果说明LSP目标至少具备一定的迁移能力，但评估时仍需区分几类指标：

• WER/CER：衡量识别准确度，但无法反映Token何时稳定；
• 首Token延迟与emission lag：决定流式体验和下游动作时机；
• 前缀稳定性/回改率：衡量模型是否兑现“不再修改历史输出”的承诺；
• 不同音频切块长度下的表现：流式ASR对chunk边界、编码步长和重计算策略非常敏感；
• 噪声、口音、远场和代码词：通用语料上的平均改善，不等于专有名词和真实会议场景同样稳定。

目前公开摘要没有给出完整的基准表、硬件配置、批处理策略和显著性分析，因此不能仅凭“接近全上下文质量”推断其已经优于所有流式ASR方案。独立复现时应同时记录原始转写质量、延迟分位数和错误回改率。

开发者落地建议

对于实时翻译和语音智能体团队，R2T2提供了一条比重新设计整条语音链更轻量的改造路径。可以先保留原有Qwen3-ASR服务框架，将R2T2作为兼容的流式解码模型接入，并重点验证三个边界：

1. 动作提交边界。 只有进入稳定前缀的Token才能触发不可逆工具调用或业务写入。
2. 状态同步。 将ASR前缀、翻译结果和智能体执行状态绑定，避免文本已更新但执行侧仍引用旧片段。
3. 失败与重连。 流式连接中断后，需要决定是恢复稳定前缀、重置会话，还是重新解码完整音频；不同策略会影响幂等性和成本。

如果业务必须实时纠正口误，建议保留一个内部“最新候选”通道，但对外执行链只消费已提交前缀。这样可以同时获得流式识别的高信息量和稳定接口的确定性。

开放模型的实际意义

Confucius4-R2T2同时开放模型权重和代码，开发者可以直接检查LSP标签构造、训练脚本和推理实现，也可以将它作为稳定前缀ASR的研究基线。其更广泛的意义在于：流式语音系统的下一阶段不只是降低平均延迟，而是明确区分“可展示的候选文本”和“可被下游依赖的稳定文本”。

对于实时翻译、语音智能体和实时字幕系统，这种稳定输出契约可能比单纯的平均WER下降更重要。

---

消息来源：Hugging Face Daily Papers (2026-11-04)

—— 完 ——

主题标签： #流式ASR 关注 #稳定前缀 关注 #语音智能体 关注 #实时转写 关注 #Qwen3-ASR 关注