NPCBench评测鼻咽癌多模态诊疗推理，最佳严格路径成功率仅23%

摘要：NPCBench 将鼻咽癌临床能力评测从孤立问答推进到连续诊疗路径，涵盖指南知识、病例规划、纵向复诊、CarePath 整合与开放式会诊。基准包含 4,777 个组件及会诊条目、100 名患者的 CarePath 队列和 417 个计分诊疗任务，并在 30 个模型上开展实验。结果显示，模型在单项任务上的强表现无法转化为同一条诊疗路径中诊断与处置同时正确；21 个多模态模型中，严格 CarePath 成功率最高仅为 23%，揭示长时程证据整合与时间一致性仍是短板。

---

核心发现：单项答对不等于整条路径可靠

NPCBench 面向鼻咽癌专科场景，评测目标不是模型能否回答一道医学问题，而是能否在同一患者的连续诊疗轨迹中整合专科知识、影像证据与随时间变化的临床状态。基准覆盖指南和基础知识、病例规划、纵向复诊、CarePath 整合及开放式会诊，共包含 4,777 个组件与咨询条目、100 名患者的 CarePath 队列，以及 417 个计分诊断和诊疗任务。

其关键设计是 episode-level evaluation：只有同一诊疗片段中的诊断答案与相关照护答案同时正确，才计为路径成功。这种严格联合评分揭示出明显的 composition gap——模型可能在单项任务上表现突出，却无法稳定完成诊断、证据解释和后续处置的组合任务。30 个受测模型中，21 个多模态模型的严格 CarePath 成功率最高仅为 23%。

从静态问答转向连续诊疗状态

传统医学基准常把临床能力拆成知识题、单图诊断或静态病例摘要。这种设计便于横向比较，却无法回答一个更接近临床部署的问题：模型能否记住并更新患者状态，在后续检查、复诊和咨询中维持决策一致。

NPCBench 将每个步骤任务链接到患者级诊疗轨迹。模型不仅要生成当前答案，还要处理纵向修订、视觉证据落地以及开放式咨询中的要求满足度。paired controls 可隔离模型是否真正使用图像或轨迹信息，physician calibration 则用于校准咨询式回答的判定尺度。相较单轮准确率，这种评测更接近“临床学徒”从知识学习到独立接诊的训练结构。

从系统实现角度看，严格联合评分可形式化为：

[ S_{episode}=\prod_{j=1}^{m} \mathbb{1}[\hat{y}_j=y_j] ]

其中每个子任务 (j) 的诊断或诊疗答案都必须正确。该指标的优点是直接对应路径可用性，不会让模型靠多个局部正确抵消关键错误；代价则是对任务标注一致性、答案粒度和医疗建议边界提出更高要求。评测结果究竟反映模型能力，还是受评分规则与病例构造影响，需要结合公开代码、评分协议和医生复核流程判断。

为什么多模态模型仍未跨过 23%

这一结果并不意味着图像识别能力不足是唯一原因。连续诊疗推理需要模型同时完成四类操作：读取影像与文本证据、维护患者状态的时序表示、识别新信息对既有判断的修正，以及把诊断转化为满足临床约束的后续行动。

其中，状态更新尤其困难。静态医学多模态模型可以通过视觉编码器和文本解码器完成局部感知，但在纵向任务中，旧诊断、新检查结果和时间信息可能互相冲突。模型若仅把各轮输入拼接成长上下文，容易出现证据选择失焦、历史结论固化和局部正确之间不一致。NPCBench 的低成功率正说明，扩展上下文长度不能替代显式的患者状态表示与证据更新机制。

严格路径成功率还受到任务组合方式的放大效应影响。例如一个病例包含四个均需答对的环节，单项准确率即使达到较高水平，联合成功率仍会快速下降。因此，23% 不宜直接等同于“模型临床准确率只有 23%”，更准确的解释是：按该基准要求完成完整诊断与照护组合的能力仍然有限。

基准质量与公平性

NPCBench 相比通用医学问答基准更有临床结构，但其有效性仍取决于数据治理。鼻咽癌具有明显的地域、影像设备、诊疗规范和分期体系差异；若训练数据或医生标注主要来自少数中心，模型可能在跨地区、跨设备和不同治疗指南下出现分布偏移。

评测还需控制信息泄漏。若病例摘要、咨询问题或答案措辞与训练语料高度相似，模型可能依靠记忆完成局部任务，而不是学习证据落地和纵向修订。paired controls 是对此类捷径的重要检验，但摘要未披露其具体构造、样本量和统计显著性。

此外，开放式咨询如何评分会显著影响结果。若主要依赖 LLM-as-a-judge，评审模型与候选模型之间的偏好同源性可能扭曲结论；医生校准虽能改善这一点，但仍应报告评分者间一致性、争议样本比例及置信区间。

开发者与医疗 AI 团队如何落地

NPCBench 适合作为医疗智能体发布前的纵向回归测试，而不应直接充当临床决策验证。对研发团队而言，可以先按任务链拆分失败类型：视觉证据遗漏、状态更新错误、诊断与处置冲突，以及咨询要求遗漏，并分别统计组合错误与单点错误。

工程上，可将患者轨迹转换为结构化状态对象，显式记录诊断假设、检查结果、时间戳、证据引用和已修订结论，再让模型基于该状态生成下一步行动。与单纯扩大上下文相比，这种设计更容易审计和回归，但也会引入状态抽取误差和额外编排成本。

真实部署前还应补充外部验证，包括不同医院的影像协议、不同版本指南、罕见病例和缺失数据场景。只有当模型在独立机构、未见患者轨迹及专家复核条件下保持稳定，才能说明其能力来自泛化，而非对固定基准模板的适应。

结论

NPCBench 的主要贡献不是提出更强模型，而是重新定义医疗 AI 的评测单位：从孤立答案转向患者级、跨时间的诊疗路径。最高 23% 的严格 CarePath 成功率显示，多模态模型在局部感知之外，仍受制于证据落地、时间一致性与多步骤决策组合。该基准适合作为医疗多模态模型和智能体的诊断性工具，但临床有效性仍需通过外部数据、评分透明度和真实工作流验证。

---

消息来源：Hugging Face Daily Papers (2026-11-05)

—— 完 ——

主题标签： #医疗多模态模型 关注 #纵向诊疗推理 关注 #NPCBench 关注 #鼻咽癌 关注 #临床AI评测 关注