Duo v1发布：双向世界模型实现全双工视听交互

摘要：Duo 发布 Reciprocal World Model 与首个版本 Duo v1，将持续感知、交互决策和视听生成纳入同一全双工架构。系统以 Intent 模块负责持续推理和参与决策，以 Realization 模块生成连贯音视频行为；两者通过统一时间线上的分块条件与同步 Token 协作，并以双路径 rollout distillation 缓解训练—推理分布偏移。它可边听边看、实时回应并处理打断，还可操作虚拟场景或进行无键鼠视听交互。不过，当前材料尚未披露模型规模、训练数据、延迟、硬件需求及独立基准，实际部署价值仍需验证。

---

Duo v1把“理解世界”和“表现世界”放进同一交互循环

Duo v1 将世界模型从单纯的视听内容生成器推进为持续参与交互的系统。其核心抽象是 Reciprocal World Model（RWM）：模型不只模拟可见、可听的物理环境，还要在交互过程中同步决定是否发言、如何理解对方意图，以及怎样生成连贯的音视频反馈。

系统由两个相互依赖的模块组成：

• Intent：负责认知与交互决策，包括理解当前状态、形成意图，并决定模型应当继续静默、发起回应还是被打断。
• Realization：负责将决策转化为语音、表情、动作及其他视听表现。

这与传统级联式多模态智能体不同：传统方案通常先让语言模型生成回答，再由语音或视频模型分别渲染。Duo v1 把决策与表现放进统一时间轴，使模型可以在用户说话时持续感知，并动态改变发言内容、节奏和呈现方式。

自回归推理取代一次性指令理解

Duo v1 将自回归建模用于 Intent 模块的连续推理和参与决策，而不是像部分扩散式交互系统那样，只把自回归模型用作扩散生成前的一次性指令解析器。

这一设计允许模型按时间顺序逐 Token 更新内部状态。每一个新到达的音频、视频或文本片段都可以改变后续决策：用户停顿可能意味着继续等待，用户插话可能触发抢占，正在展示的物体也可能改变助手应采取的动作。

从机制上看，若当前上下文长度为 (N)，标准全注意力自回归推理的计算量随历史增长大致为 (O(N^2d))，KV Cache 则用于避免重复计算历史 Key 与 Value。对实时全双工系统而言，这会直接转化为更高的显存占用和首 Token 延迟。论文摘要没有披露 Duo v1 是否采用滑动窗口、分层缓存、状态压缩或线性注意力，因此其长对话成本仍无法判断。

统一时间线用同步 Token 约束音视频生成

Realization 模块并不独立预测一段完整视频，而是通过“分块条件”和同步 Token 接入 Intent 模块。每个时间块包含相应的感知条件及生成状态，模型按块推进视听输出。

模块专用注意力掩码负责控制两类依赖关系：

1. 块内因果性：当前输出只能读取已经到达的输入与已生成 Token。
2. 跨块因果性：后续时间块可以继承此前历史，但不能访问尚未发生或尚未生成的未来信息。

这比简单的文本—视频拼接更接近实时媒体解码：生成不是“看完一段再做总结”，而是随着观察持续更新。不过，分块粒度会直接影响画质、时间分辨率和交互延迟。块过短时跨块状态更频繁，生成稳定性可能下降；块过长时，用户插话后必须等待更多冗余输出才能完成响应。公开摘要没有给出 chunk size、采样频率或跨块状态压缩方法。

双路径 rollout distillation 缓解分布偏移

实时系统的主要难点是训练时看到的是整理好的样本，部署时却必须面对模型自己生成的历史。错误一旦进入后续音视频上下文，就可能被当成真实状态继续建模，形成自回归误差累积。

Duo v1 使用 dual rollout distillation 处理这一问题：

• Intent 模块使用自身自回归生成的 Token 参与训练，使决策模块适应“自己决定下一步后”的真实状态分布。
• Realization 模块使用合成音视频历史进行训练，让生成器适应由自身输出累积形成的上下文，而非始终依赖真实录制数据。

这一思路类似序列模型中的 scheduled sampling，但覆盖的是跨模态、多模块闭环。训练成本也随之上升：模型不仅要生成真实标签对应的轨迹，还需要生成更长的自展开历史，并执行跨模块蒸馏。其收益应以长会话稳定性、错误恢复能力和音画同步误差衡量，而不能只看短对话质量。

全双工交互的价值与工程代价

Duo v1 支持同时接收实时音频、视频和文本，允许自然对话、抢话和打断，还可用于分享真实物体、重塑虚拟场景、引导助手，以及在无鼠标和键盘条件下玩视听游戏。其真正差异不是生成一段更逼真的视频，而是把响应时机本身纳入生成过程。

全双工能力也带来明显工程负担。系统必须并行执行音频编码、视觉编码、Intent 自回归解码和 Realization 多模态生成，还要处理回声消除、播放输出延迟、用户语音与模型语音的分离，以及视觉与听觉时间戳对齐。若输入到声音播出的总延迟超过人类对话容忍范围，模型即使能正确理解打断，也可能显得反应迟钝。

同时，持续生成音视频意味着推理成本不再只由文本 Token 决定。视频 token、潜变量解码、声码器和视觉渲染都可能占用主要算力；多模块自回归也使批处理效率下降。因此，论文所称“实时”必须结合端到端首响应延迟、每秒生成帧数、持续交互时的 GPU 占用及并发用户数评估。

评测仍不足以证明真实交互可靠性

现有材料展示了多种交互场景，但没有给出定量结果。判断 Duo v1 的技术水平至少需要以下指标：

• 打断处理：用户插话时，系统停止播报的自然程度和无效语音比例。
• 时机控制：面对沉默、犹豫、噪声和多个说话者时，模型是否错误抢话或长时间无响应。
• 视听一致性：语音内容、口型、表情和动作是否在长时间交互中保持同步。
• 长程稳定性：连续交互数分钟乃至更久后，身份、场景和动作是否漂移。
• 闭环任务成功率：在物体分享、虚拟场景操作等任务中，是否真正完成目标，而非生成表面逼真的回应。

还应设置同成本基线，例如采用“流式 ASR + LLM + 流式 TTS/视频生成”的级联系统，并统一模型规模、硬件、采样频率和可接受延迟。如果 Duo v1 仅在更高算力预算下实现同等任务成功率，其架构优势需要重新评估。

开发者落地建议

Duo v1 更适合作为全双工交互与具身多模态研究原型，而非开箱即用的生产模型。开发者接入时应优先验证三个工程问题：

1. 端到端延迟预算：拆分感知、Intent 解码、Realization 生成和音频播放耗时，观察打断后的停止响应时间。
2. 硬件与并发成本：测量单用户持续交互的显存、带宽与 GPU 占用，并测试多用户并发时的吞吐退化。
3. 失败模式：分别注入噪声、遮挡、延迟输入、快速打断和长时漂移，验证系统是否会把感知错误固化为后续行为。

如果权重、代码或推理配置可获得，建议优先复现论文中的实时对话和物体共享任务，再与同硬件上的级联多模态基线比较。当前最值得关注的不是它展示了多少种互动场景，而是能否以可控成本实现稳定、自然且可评测的全双工行为。

---

消息来源：Hugging Face Daily Papers (2026-11-11)

—— 完 ——

主题标签： #Duo v1 关注 #世界模型 关注 #全双工交互 关注 #多模态生成 关注 #自回归推理 关注