Perplexity开源Decider v1.3：统一分类、重排与跨度抽取

摘要：Perplexity 发布两款 Apache 2.0 开放权重决策模型：基于约 26B 骨干的 Decider v1.3 与基于 4B 骨干蒸馏而来的 Flash v1.3。它们不逐 Token 生成文本，而是针对状态和自然语言问题输出选项概率，可统一执行二元判断、最多 255 项选择、排序评分及重排。v1.3 新增 locate 模式，通过独立 LoRA 与跨度头返回原文片段及字符偏移。官方报告其多语言分类、检索重排和域外抽取表现领先，但结果主要由厂商评测得出，概率校准、混合请求开销及独立复现仍需验证。

---

核心发布：把生成模型改造成概率化决策器

Perplexity 发布了 pplx-decider-v1.3 与 pplx-decider-flash-v1.3，并以 Apache 2.0 许可开放权重。两款模型不是通过逐 Token 解码生成答案，而是读取一段“状态”后，针对一个或多个自然语言问题输出答案选项的概率分布。

这一设计把 LLM 从“回答生成器”变成可组合的决策组件，适合分类、审核、重排、路由及信息抽取等工作流。其关键优势不是减少某一层推理，而是让调用方直接读取概率、设置阈值，并按业务风险在自动处理与人工复核之间分流。

模型配置与硬件门槛

pplx-decider-v1.3 约含 26B 参数，BF16 权重占用约 49 GiB；Flash 版本采用约 4B 骨干，BF16 权重约 8.5 GiB。Flash 模型通过 KL 目标蒸馏较大模型的输出分布，而非仅学习硬标签。

这使两款模型形成明显的部署分层：

• Decider v1.3：适合追求分类与抽取上限、数据隐私要求高、可使用多 GPU 的本地部署。
• Decider Flash v1.3：适合高并发、边缘设备或成本敏感的批量任务。
• 托管 API：通过 Perplexity API 和 OpenRouter 提供调用方式，省去维护非标准推理栈的工程成本。

不过，较小的参数规模不必然对应线性比例的成本下降。双向注意力、30K Token 上下文、图像编码以及 locate 路径的额外前向计算，都可能改变端到端延迟和显存需求。

决策接口：从分类到检索重排

模型支持四种主要问题类型：

1. Yes/No：输出二分类概率，适用于内容审核、意图判断和策略路由。
2. Multiple Choice：单次最多提供 255 个选项。
3. Ordered Scores：对候选项进行有序评分，可用于 reranking。
4. Locate：返回与问题匹配的原文跨度及字符起止位置。

多个问题可以共享同一状态。默认情况下，每个问题独立形成推理序列，隔离性更强；isolated 模式只读取一次状态，可降低多问题请求的计算量，却可能因问题组合及注意力分布变化而轻微改变答案。因而，隔离模式适合成本敏感场景，稳定性要求高的审计任务则应采用默认模式。

官方报告称，Decider v1.3 在 72 个检索任务上取得 83.99 nDCG@10，比 Qwen3-Reranker-8B 高 1.81；Flash 版本在多语言分类和低成本部署之间提供折中。由于这些结果并未完整披露各任务数据切分、提示模板、并发设置与统计置信区间，实际收益仍应通过自有检索集复测。

架构机制：双向注意力改变推理契约

Decider 将骨干的完整注意力层改为双向注意力，使问题能够在一次推理中同时观察输入状态与全部问题 token。与标准自回归语言模型的因果掩码不同，这种结构允许任意位置关注后续内容，更适合同时建模多个相关问题。

工程上的直接后果是，普通 transformers 因果推理路径不能复现官方结果；开发者必须使用 Perplexity 的 pplx_decider 包。该设计也意味着显存和计算特征不同于常规生成模型，不能仅凭参数量估算吞吐。训练上下文最长约 30K Token，长文档任务仍需关注 KV Cache、预填充时间和批处理策略。

Locate v1.3：抽取与决策共用骨干

locate 是 v1.3 的主要新增能力。调用方可以提交字段标签，如“person”“email address”，也可以给出自然语言指令，如“the person who signed the contract”。模型返回原文片段、字符起止偏移和置信分数；没有匹配项时返回空列表。

该模式面向命名实体识别、PII 检测、抽取式问答和结构化字段提取，最多允许单次请求包含 128 个 locate 问题。与传统生成式抽取相比，原文跨度及偏移量更容易回溯和审计，也能直接用于高亮、遮蔽或字段定位。

但 locate 当前仅支持文本，不支持图像。它通过独立 LoRA 适配器和 span head 实现，Perplexity 没有将其合并进主干，因为合并会损害原分类任务。这意味着混合 classify 与 locate 的请求需要额外前向传播，吞吐和延迟不会与单纯分类完全相同。

官方成绩及其边界

Perplexity 报告了以下结果：

• 8 种语言的多语言分类准确率：大模型 88.16%，Flash 86.50%，对照 TypeSafe Jev 1.14 为 85.41%。
• 72 个检索任务的 nDCG@10：大模型为 83.99。
• 17 个域外 NER、PII、抽取式 QA 与结构化抽取任务的平均分：大模型 69.0，Flash 63.6；Liquid d1、Cloudflare Clairic 和 GLiNER large v2.5 分别列为 43.3、41.5 和 33.6。
• Artificial Analysis Decision Index 中，两款模型分别约为 70 和 64；资料给出的估算价格约为每百万任务 68 美元和 34 美元。

这些数据支持“模型在特定决策任务上具有竞争力”的判断，但不能直接视为独立验证。资料明确指出多数评测由 Perplexity 自行完成，任务选择、提示模板和指标聚合方式都可能影响排名。跨工具比较还需确认匹配预算、输入预处理、输出后处理及失败样本处理是否一致。

概率校准与生产部署建议

官方特别提醒，返回概率应使用业务数据重新校准并设置阈值。原始概率并不天然等于“答案正确率”：数据分布、问题措辞、候选集合和校准方法都会影响概率可靠性。

生产部署可采用以下流程：

1. 在自有数据上划分校准集与独立测试集，避免用同一批样本拟合阈值并报告成绩。
2. 比较默认隔离模式与 isolated 模式，测量答案波动、延迟和成本，而不是默认采用更便宜的路径。
3. 为 locate 设置字符偏移合法性、原文一致性、重复片段与重叠跨度检查。
4. 将分类与抽取分开压测，混合请求需要计入额外 adapter 和 span head 的前向开销。
5. 使用宽松匹配、精确匹配、F1、字符偏移误差分别评估抽取，避免单一平均分掩盖边界问题。
6. 对高风险决策设置保守阈值和人工复核，同时监控漂移、拒答率及不同语言、领域间的校准差异。

适用边界

Decider v1.3 的价值在于提供一个开放权重、概率可读、支持多任务组合的决策接口，并允许本地运行。但它并未消除模型工程中的核心难题：30K 上下文会推高资源门槛，双向注意力要求专用推理包，locate 与分类分支无法完全合并，概率仍需领域校准。对于简单二分类，小模型通常更划算；对于需要跨文档推理、复杂重排或图文联合判断的任务，则应先验证其相对专用模型的实际增益。

---

消息来源：Reddit r/LocalLLaMA (2026-11-13)

—— 完 ——

主题标签： #Perplexity 关注 #Decider v1.3 关注 #开放权重 关注 #概率分类 关注 #跨度抽取 关注