FairSumEval重审出院摘要评测：区分证据遗漏与无依据复现

摘要：FairSumEval 提出面向临床出院摘要的证据感知、事实级评测框架，将参考摘要与生成摘要中的事实分别映射到既有病历证据，并进一步划分匹配、遗漏与新增。其核心指标 Soft IoU-S 与 Soft IoU-NS 分别衡量有证据支持和无明确证据支持事实的一致性。在 200 例 MIMIC-III 住院记录上，医生参考事实仅 18.8% 能找到既有证据，而两个模型生成事实的证据支持率却达到 65.4% 与 63.5%，说明传统参考相似度可能奖励缺乏依据的复现。研究还发现两类指标跨病例相关性仅为 0.22 和 0.17，传统指标无法稳定呈现这两个评测维度。

---

核心发现：参考摘要不等于唯一标准答案

FairSumEval 针对出院摘要生成中的一个评测错位：医生撰写的参考摘要不仅复述既往病历，还包含临床综合判断、跨团队交接信息以及出院时作出的决策。模型若没有生成这些输入中不存在的内容，未必代表遗漏；反过来，模型与参考摘要高度重合，也不代表其输出具备临床依据。

传统 ROUGE、BERTScore 或 LLM Judge 若只比较参考摘要与生成摘要，会把两类不同错误混为一谈：

• 证据可恢复但模型未提取：应计为 omission；
• 参考摘要独有且没有证据来源：模型未复现不应直接受罚；
• 模型新增无依据事实：应计为 hallucination 或 unsupported addition；
• 双方共同复现无明确证据内容：可能只是碰巧一致，而非可靠摘要。

FairSumEval 因此把评测单位下沉到事实层，同时引入输入证据作为第三方坐标轴。

评测框架与指标机制

框架首先把参考摘要和生成摘要拆分为原子事实，再判断每条事实是否得到模型可见临床记录的支持，并构建事实级 outcome map：

• 匹配事实：参考与生成共享，并可映射到输入证据；
• 遗漏事实：参考中存在、证据可支持，但生成结果未覆盖；
• 新增事实：生成结果出现、参考摘要没有对应内容；
• 无明确支持事实：没有在既有证据中找到对应依据，不能直接视为真实或错误。

两个互补指标分别计算这些区域的一致性：

• Soft IoU-S：聚焦具有已识别证据支持的事实；
• Soft IoU-NS：聚焦没有识别到证据支持的事实。

“Soft”表示框架允许事实之间存在语义匹配，而不是要求字符串完全一致。其工程意义是把一个总体相似度拆成两个可诊断维度：前者回答“模型能否从证据中抓住关键事实”，后者回答“模型是否在参考约束之外进行了高风险扩写”。

需要注意，IoU 对集合规模敏感：当遗漏或新增较多时，即使精确匹配不少，得分也可能下降。因此，Soft IoU-S 和 Soft IoU-NS 适合作为诊断指标，而不应脱离事实数量、证据召回率和新增事实类型单独解读。

200例MIMIC-III实验暴露的参考偏置

实验覆盖 200 例 MIMIC-III 住院记录。结果显示，只有 18.8% 的医生参考事实能在既往证据中找到明确支持；相比之下，通用模型与医学专用模型生成事实的证据支持率分别达到 65.4% 和 63.5%。

这不是说模型比医生更“准确”，而是说明医生参考文本包含大量无法由当前输入复原的临床综合与决策信息。直接把这种信息当作必须复现的目标，会产生两类偏置：

1. 对模型恢复关键临床事实的能力惩罚过重；
2. 对与参考偶然一致、但临床依据不足的内容给予奖励。

数据还显示，有证据支持事实的重合度分别为 0.255 和 0.236，明显高于无明确支持事实的 0.030 和 0.026。因此，传统相似度主要受无依据复现影响，无法充分反映证据约束下的信息抽取能力。

评测有效性：两个维度不能互相替代

Soft IoU-S 与 Soft IoU-NS 在不同病例间的相关系数分别只有 ρ=0.22 和 ρ=0.17，属于弱相关。这意味着，一个病例可能具有较高的证据事实覆盖，却同时产生大量无依据扩展；反之亦然。

常规指标也未能稳定捕捉这两个维度。其根本原因不是模型容量不足，而是任务目标定义不完整：临床摘要不是单一“文本压缩”任务，而是证据抽取、未记录信息处理和出院决策建议的混合任务。

研究仍存在重要限制。MIMIC-III 仅代表单一数据集，且摘要中的事实抽取与证据对齐可能受规则或模型误差影响；200例规模适合验证方法，但不足以证明跨医院、跨书写风格和跨电子病历系统的稳定性。论文摘要也没有披露事实拆分器、证据支持判定器及人工复核的一致性，这些环节会直接影响指标的可信度。

开发者与医疗AI团队的落地建议

构建医疗摘要评测管线时，不应只保留一个综合相似度分数。至少应分别记录：

• 证据事实覆盖率：模型遗漏了多少输入中可恢复的信息；
• 精确率：生成内容中有多少事实具备明确依据；
• 新增事实率：模型在参考之外引入了多少内容；
• Soft IoU-S 与 Soft IoU-NS：分别呈现有依据和无依据部分的一致性；
• 临床严重度分层：用药、诊断、过敏史和手术信息应获得更高错误权重。

模型训练也可采用证据监督：先从病历中抽取可验证事实，再约束摘要仅复述这些事实；对无法从输入确定的内容使用模板化占位或明确标记不确定性，而不是让模型猜测。若使用 LLM Judge，应让其同时看到参考摘要与源证据，并要求逐事实输出支持关系；否则 Judge 仍可能退化成普通文本相似度评分。

对临床部署而言，FairSumEval 更适合作为离线模型选择和错误分析工具，而不是唯一上线门槛。真实评测还需要加入医生审查、跨机构验证，以及针对高风险事实的精确率约束。

工程价值

FairSumEval 没有提升生成模型本身，却修正了医疗 NLP 评测的目标函数：它明确承认参考文本可能含有输入中不存在的信息，并把“漏掉可恢复事实”与“生成无依据事实”拆开评估。对于医疗摘要、临床报告生成以及其他输入信息不完整的生成任务，这套框架都提供了比单一相似度更可操作的诊断接口。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-13)

—— 完 ——

主题标签： #医疗NLP 关注 #临床摘要 关注 #事实级评测 关注 #证据可追溯性 关注 #大模型幻觉 关注