Boson AI发布45B全双工MoE：边说边思考并调用工具

摘要：Boson AI 发布 45B 混合专家全双工模型 Higgs Realtime Duplex，将音频、视觉、文本、推理与工具调用统一为 160 毫秒分块流，使模型能在说话时继续推理，并在工具结果尚未返回时提前回应。系统支持语音与人物形象零样本定制，后训练采用多教师在线策略蒸馏和 GRPO。官方评测显示其在部分语音与视频任务上接近领先配置，但轮次接管能力仍落后于 OpenAI，模型目前闭权重且 API 处于候补名单阶段。

---

核心发布：45B MoE把多模态交互放进同一条实时流

Boson AI 发布 Higgs Realtime Duplex，一款总参数量 45B 的混合专家（MoE）全双工模型。它不再遵循“听完用户说话—等待轮次结束—推理—生成回复”的串行流程，而是让音频输入、语音输出、视频输入、人物面部输出、文本、推理轨迹和工具调用同时推进。

系统将所有信号切分为 160 毫秒块：音频输入每块 1 个 token，音频输出每块 2 个 token，视频每 6 块输入一次约 12-token 的相机帧，面部输出每块生成 2 个 latent，文本则与这些流并行。关键设计是把静音也表示为可处理的块，而不是简单停机，因此模型能够在对话中学习插话、简短反馈和适时保持沉默。

这不是传统语音模型外接一个对话管理器，而是把交互时序本身纳入模型训练目标。官方称该 API 尚未开放权重，新 Duplex API 处于候补名单；此前的轮次式 Higgs Realtime 已可直接使用。

统一分块流如何支撑真正的全双工交互

连续实时交互的关键不只是低首字延迟，而是模型能否在输出语音的同时继续消费输入、推理和执行工具。Higgs Realtime Duplex 将推理、工具调用和任务委派表示为同一事件流中的 span，一个 span 可以跨越多个 160 毫秒块。

工具结果也不必一次返回：模型可以先基于已到达的部分结果开口，并在后续结果抵达后继续修正。对于更困难的任务，前台 45B 模型会把问题委派给更大的后端模型，并让后端共享上下文。这与把所有推理和工具调用都完全移入后台的系统不同：后者虽然可降低前台交互复杂度，却可能引入超过 10 秒的响应等待，并使成本归因更困难。

按官方数据，音频和视频约消耗每分钟 2.6K token；加入推理与工具轨迹后约为每分钟 2.6K—5K token。最近五分钟的细粒度历史加上压缩文本可占 13K—25K token，更早内容则转换为文本保存。真正的瓶颈因此从“每句话多少 token”转向“哪些细节必须留在细粒度流里”。

语音与人物形象：零样本个性化，但生成链路并不轻

部署时无需微调，只需提供一段语音参考片段、一张人物参考图和一段行为文本提示，即可设定声音与面部形象。音频由因果流匹配解码器生成，每个块输出两帧；面部则由因果 DiT 生成，以参考图像和此前两个 latent 为条件。

零样本定制降低了接入门槛，但不代表推理成本为零。实时场景需要持续执行流匹配解码和 DiT 推理，还要与主 MoE、视觉编码及工具协调共享有限延迟预算。人物跨帧一致性、参考素材噪声放大以及极端光照下的身份漂移，仍需要生产环境验证。

训练方法：多教师强化学习蒸馏后进入模拟环境自改进

模型从文本预训练 LLM 起步，在自有 H100 集群上使用基于 Megatron 的训练栈，以约 2T token 的文本、音频和视频继续预训练。后训练阶段并非简单 SFT，而是先训练多个专门化教师，分别覆盖对话质量、交互时机、任务委派和任务完成等目标，教师训练包含 GRPO 等强化学习方法，再通过多教师在线策略蒸馏合并到一个学生模型。

此后，模型进入带有真实时间约束、打断、语音重叠和背景噪声的模拟环境执行自我改进。这一路径的工程意义在于，把“何时说话”和“说话时做什么”变成可训练策略，而不是固定工作流。不过，模拟环境与真实会议、客服或机器人场景之间仍有分布差异，教师模型的能力上限也可能通过蒸馏传递给学生。

官方评测：整体接近领先，但轮次管理仍是短板

官方表格采用各实验室的最佳公开配置或复现结果，并称复现了超过一半的竞争方数据。Higgs Realtime Duplex 在 Big Bench Audio 得分 98.9，高于 TML Interaction Small 的 96.5 和 OpenAI 最佳配置的 97；在 ProactiveVideoQA 的 PAUC 上得到 31.9，接近 TML 的 33.5，并高于 OpenAI 的 25.0。

不过，它并未在所列七项基准中全面领先。OpenAI 最佳设置在其中五项居首，领先幅度约为 1—5 分；特别是在 Full-Duplex-Bench v1.5 上，Higgs 的 75.5 低于 TML 的 77.8 和 OpenAI 的 80.1。τ-Voice 上 Higgs 为 69.8，同样低于 OpenAI 的 74.5。官方也明确承认，轮次接管是当前最明显的差距。

这些结果应谨慎解读：比较对象采用的思考预算、工具配置和推理成本并未完全统一，部分数字由 Boson 自行复现，而且基准整体分数无法直接反映流式首响应延迟、抖动、工具失败率和每分钟成本。对于实时系统，应额外测量首语音块延迟、持续输出稳定性、打断误判率以及在嘈杂环境下的 backchannel 准确率。

工程权衡：中等规模前台模型换取可控成本

Boson 将 45B 前台模型设计为中等规模，目标是让一小时模型时间的成本不超过约十分之一小时人工时间。较小的前台模型可以降低持续调用的推理开销，并通过仅把困难任务委派给大型后端模型来控制成本。其隐含假设是路由判断准确：任务委派过少会拖慢答案，委派过多则会抵消成本优势。

该设计还需要处理几个生产问题。其一，多模态 token 消耗会随视频采样率和工具轨迹快速增长，部署方必须限制视觉频率及历史粒度。其二，工具返回是分阶段的，前台模型必须避免在信息不完整时作出高风险承诺。其三，外部工具和后端模型延迟会与 160 毫秒节奏错位，需要独立调度而非简单串行等待。其四，闭权重与候补 API 限制了独立压测，也增加了供应商锁定风险。

开发者落地建议

在等待 Duplex API 正式开放时，开发者可先用现有 Higgs Realtime 验证语音轮次和工具调用流程，再围绕 160 毫秒分块事件总线设计流式状态机。建议把音频、视频、文本、工具和推理结果拆成独立事件通道，并在应用层维护“正在听、正在说、等待工具、可插话”四类状态，而不是让业务逻辑直接等待完整回复。

生产评测应优先检查四类指标：首个可感知反馈延迟、连续输出的 p95 抖动、错误插话与漏插话率、工具结果未完成时的回答正确性。成本监控则应区分前台 token、视觉帧、推理轨迹和后端委派 token，避免长会话因上下文细化而出现隐性成本膨胀。

Higgs Realtime Duplex 的关键贡献，是把全双工交互、后台推理和工具执行从串行管线改造成统一事件流；但官方结果也显示，模型“能同时做很多事”并不等于“能准确决定何时说、插话或闭嘴”。后者仍取决于训练数据、模拟环境覆盖和实时评测体系。

---

消息来源：Reddit r/MachineLearning (2026-11-06)

—— 完 ——

主题标签： #全双工语音模型 关注 #混合专家架构 关注 #实时多模态 关注 #工具调用 关注 #流式推理 关注