CrisisBench发布:隐私化患者模拟评测大模型危机干预
摘要:论文发布危机咨询评测套件CrisisBench,以200段去标识化热线对话构造1,085个单轮任务,并用热线元数据生成1,185个患者LLM,配合经专家校准的23项LLM裁判。五个GPT模型及草稿—编辑、RAG方案在多轮测试中最高得0.961,但各系统差距仅0.058,且风格与微技能接近天花板;模型在“过度共情”、追问控制等细粒度失误上仍落后咨询师。结果说明聚合分数不足以刻画危机干预安全性,生产部署还需独立风险分级、升级机制与人工复核。
技术机制剖析
CrisisBench是一套面向危机咨询LLM的评测套件,而不是新的咨询模型。它把风险评估、升级处理和去升级能力置于评测中心,避免仅凭语言流畅度、常识问答准确率或普通对话偏好判断模型是否适合承担高敏感场景。
任务层:单轮切片与多轮压力测试
基准从200段去标识化热线对话构造1,085个单轮任务,用于检查模型面对具体求助表达时的首轮响应质量;多轮评测则通过患者模拟器持续施压,观察系统能否在风险线索逐步升级后保持安全边界。现有摘要没有披露多轮任务数量、风险类型分布及不同严重度的分层比例,这是判断覆盖面的主要缺口。
患者模拟层:元数据驱动的1,185个患者LLM
作者利用热线元数据构建1,185个患者LLM,用于模拟咨询对象在不同回合中的回应。咨询师对模拟患者的现实感评价达到86%,实用性评价达到92%,说明这些模拟器能够承担压力测试的一部分工作。
但“86%逼真”不等于临床有效。患者模拟器可能过度配合、回避对抗性表达,或以训练语料中的刻板反应代替真实个体行为;其模型架构、提示词、创伤与自杀风险分布、语言和人群覆盖也未在摘要中说明。因此,这项结果证明的是专家对模拟器可用性的认可,而不是模拟患者已经复现真实危机热线人群。
裁判层:23项LLM裁判与专家校准
评测采用包含23项指标的LLM裁判,患者模型和裁判均针对专家咨询师进行了校准。量表覆盖微技能、风格与语气、生产力以及安全与风险等维度,比单一总分会保留更多诊断信息。
一致性数据需要谨慎解读:人类之间的Krippendorff’s α为0.51,LLM与人类之间为0.54,Pearson相关系数为0.80。α约0.5通常只代表中等一致性;LLM裁判相对人类裁判仅提高0.03。Pearson r衡量线性关联而非绝对一致,不能据此把LLM裁判视为专家的等价替代品。
被测系统:五个GPT模型与两类增强管线
论文比较了五个GPT模型,以及草稿—编辑和检索增强生成两种工作流。RAG在多轮评测中得分最高,但摘要未说明检索库内容、更新机制、文档来源和引用约束,也未列出五个GPT模型的准确版本、提示模板与采样参数。因而现有结果只能证明RAG管线在该评测设置下占优,尚不能分离检索知识、提示组织和模型本身带来的收益。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-11-18)
主题标签: #CrisisBench #LLM评测 #危机咨询 #患者模拟 #LLM-as-a-Judge
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区