Nace AI开源Drex决策模型家族：单次前向输出选项概率

摘要：Nace AI 发布并开源 Drex 决策模型家族及完整技术报告，覆盖扩散语言模型、Gated DeltaNet 混合架构、稀疏 MoE 与带视觉编码器的稠密模型。其任务不是生成长答案，而是读取状态与一组候选选项，在单次前向传播中输出归一化概率，不使用自回归解码或输出解析。Pointer 模型通过缓存状态编码降低多问题推理成本。训练采用 115 万条已验证决策记录的全参数 SFT、一致性约束和 RLAF，官方称可降低选项顺序翻转并改善准确率与校准。不过，现阶段结果主要来自官方报告，跨架构消融、真实生产负载和独立复现仍待验证。

---

Drex 把生成任务改写为可校准的选项判定

Nace AI 开源了 Drex 决策模型家族。与聊天模型逐 Token 生成答案不同，Drex 接收一段状态——可以是文档、数据库记录或智能体上下文，也可以附带图像——以及一组带标签的候选项，直接返回各选项的概率分布。

这类接口省掉了自回归解码和字符串解析，适合智能体路由、工具选择、审批判断与分类决策。它真正有价值的指标不只是 Top-1 准确率，还包括概率是否校准、答案是否随选项排列改变，以及状态能否被缓存复用。

四种模型对应不同的工程取舍

Drex DLM（8B）以扩散语言模型为骨干，对上下文使用双向注意力。扩散模型可以并行迭代更新序列表示，摆脱逐 Token 解码依赖，但推理需要多个去噪步骤，实际延迟是否稳定低于一次前向生成，仍取决于实现和步数调度。

Drex v1.5（9B）采用 Gated DeltaNet 混合骨干。DeltaNet 类线性注意力通过递归状态更新降低长上下文注意力的计算和显存成本，代价是状态压缩可能损失细粒度信息，混合注意力通常用于补回局部建模能力。

Drex v2.0 是 35B 总参数、3B 激活参数的稀疏 MoE 模型。每个 Token 只激活部分专家，因此计算量接近 3B 模型，权重容量则接近 35B 模型。不过，MoE 的实际收益高度依赖路由稳定性、批处理效率、专家并行的通信开销以及部署内核是否原生支持，不能只用激活参数量推断吞吐。

Drex Max 是 27B 稠密模型，并加入图像编码器。它将问题完整读入，通过选项编码上的线性读出头输出结果。稠密结构通常更容易部署和优化，但每个 Token 都参与主要计算，显存与带宽成本高于同规模激活量的 MoE。

Pointer 缓存把状态编码与问题评分解耦

Drex DLM、v1.5 和 v2.0 使用 pointer decision head：模型只编码一次状态并缓存该表示，随后每个问题读取缓存状态、评分候选项，同时禁止问题之间相互注意。

对于同一份长文档需要回答多个问题的场景，这能避免重复计算前缀状态，并减少问题之间的信息泄漏。其近似代价是状态被压缩为固定大小缓存后，所有问题都只能读取同一份摘要表示；如果后续问题依赖前面问题的推理结果，这种设计并不适合真正的多轮依赖推理。

Drex Max 的路径不同：它完整编码每个问题，再对候选项做线性读出。这更适合问题本身携带复杂指令的情况，但无法获得 pointer 架构的状态复用优势。

一致性训练与 RLAF 针对判定模型的特有失效模式

Nace AI 使用 115 万条已验证决策记录、约 290 万个问题进行全参数监督微调，随后加入一致性训练和 Reinforcement Learning from Adjusted Feedback（RLAF）。

一致性目标会打乱候选项顺序或状态排列，并惩罚模型输出随之改变的行为。官方数据显示，选项顺序翻转率从 6.3% 降至 4.2%。对于路由和工具选择模型，这一点比普通准确率更关键：候选列表的排列不应成为隐含的答案特征。

RLAF 使用已验证结果与评审反馈调整模型。官方称，在 SFT 基础上，RLAF 将 Decision Index 提升 2.0 分、准确率提升 1.5 个百分点，并降低 0.9 个百分点的校准误差。由于这组数据只披露了汇总结果，尚不清楚收益主要来自可验证奖励、评审模型还是二者的组合，也没有完整训练成本。

基准结果需要区分任务能力与模型速度

Drex Max 在 Decision Index 0.4.1 公开套件上的得分为 67.52，对比基线 Jev 1.14.0 为 60.70。Drex v2.0 在约 11.5 万个保留决策样本上的期望校准误差为 1.37%。官方还报告 Drex Max 典型请求延迟为 183 毫秒，并称 GPT-6 Sol 和 Claude Opus 5.5 分别约为 2.0 秒和 3.5 秒。

这些结果不能简单解读为 Drex“全面快十倍”。决策模型只需对固定选项打分，而通用聊天模型需要生成自由文本，两者的输出长度、提示词、硬件、服务负载和测量口径可能不同。更可靠的比较应报告端到端时间、每百万决策成本、并发吞吐、尾延迟以及量化和缓存开关。

此外，Drex 模型在闭卷知识任务上落后于前沿聊天模型。这并不否定其路由用途，却划定了能力边界：Drex 更像针对受限动作空间的专用策略头，而不是通用知识模型。报告也承认尚未完成同骨干架构消融，因此不能把四种骨干之间的差距完全归因于具体架构设计。

本地部署建议

官方提供 Safetensors 与 GGUF 权重，并支持 llama.cpp 和 Ollama；Drex v1.5 与 v2.0 支持 131K 上下文，Drex Max 支持 262K。

本地使用时应优先验证三件事：

1. 实际量化损失：比较 FP16/BF16、Q8、Q6、Q5 与 Q4 在决策准确率、ECE 和选项翻转率上的变化，而不只看困惑度。
2. 缓存命中收益：pointer 架构适合多问题共享状态；应按真实路由批次测量 KV 或状态缓存的复用比例，避免为长上下文档位支付无法摊薄的显存成本。
3. 生产校准：上线前使用自身任务分布做温度缩放或保序校准，并按类别监控 ECE、翻转率和过度自信率。模型给出的概率若未经业务数据校准，不应直接用作自动执行阈值。

对于智能体系统，最稳妥的接入方式是让 Drex 负责候选工具或路由分支的筛选，再由通用模型处理开放生成任务；涉及高风险动作时保留人工确认或独立规则校验。

---

消息来源：Reddit r/LocalLLaMA (2026-11-06)

—— 完 ——

主题标签： #Drex 关注 #决策模型 关注 #稀疏MoE 关注 #Gated DeltaNet 关注 #智能体路由 关注