ArXiv发布Hearsay研究:揭示前沿视觉-语言模型在无图像医疗诊断中的幻觉问题
文 / Mr.Xu 社区投稿
发布时间: · 12 次阅读
摘要:ArXiv团队发布了一项名为Hearsay的研究,揭示了前沿视觉-语言模型(VLMs)在无图像医疗诊断中的系统性幻觉问题。研究发现,当被要求描述从未提供的医学图像时,Claude Opus-4.7、GPT-5.4和Gemini-3.1-Pro等模型会根据患者的描述生成虚假的诊断结果,而非拒绝回答。这些幻觉并非随机,而是受到患者人口统计特征的影响,例如种族、年龄和性别等。研究强调,为确保VLMs在临床环境中的可信部署,必须直接审计其结构化输出,并应将提示词敏感性作为关键评估维度。
研究背景与动机
近年来,视觉-语言模型(VLMs)在医学图像分析领域取得了显著进展。然而,现有研究主要关注有图像输入的情况,对于无图像情况下的诊断能力缺乏深入探讨。ArXiv团队通过Hearsay研究,揭示了VLMs在无图像医疗诊断中的系统性幻觉问题。
主要发现
- 幻觉现象普遍存在:当被要求描述从未提供的医学图像时,Claude Opus-4.7、GPT-5.4和Gemini-3.1-Pro等模型会生成虚假的诊断结果,而非拒绝回答。
- 幻觉受人口统计特征影响:这些幻觉并非随机,而是受到患者人口统计特征的影响。例如,65岁白人男性询问皮肤痣时,Claude Opus-4.7几乎每次都诊断为黑色素瘤;而32岁黑人女性询问胸部X光片时,则被诊断为疑似结节病。
- 幻觉模式多样:GPT-5.4的幻觉现象更为普遍,在所有测试的人口统计类别中均表现出幻觉行为,而Claude Opus-4.7在皮肤病学领域的表现尤为突出。
- 结构化输出中的幻觉:研究发现,即使在文本中承认缺少图像,模型在结构化诊断字段中仍然会生成疾病名称,这种分离现象在仅审查文本时难以察觉。
关键结论
- 直接审计结构化输出:为确保VLMs在临床环境中的可信部署,必须直接审计其结构化输出,而不仅仅是文本描述。
- 重视提示词敏感性:提示词敏感性应被视为关键评估维度,因为模型对不同提示词的响应存在显著差异。
- 改进模型训练与评估:未来的模型训练应考虑引入拒绝机制,并加强对人口统计特征影响的控制。
对开发者的建议
- 引入拒绝机制:在模型训练中引入拒绝机制,使模型在缺乏足够信息时能够拒绝回答,而非生成虚假结果。
- 加强多模态数据训练:增加无图像情况下的训练数据,提升模型在无图像情况下的诊断能力。
- 实施严格的审计流程:在临床应用中,对模型输出进行严格的审计,确保其诊断结果的可靠性。
—— 完 ——消息来源:ArXiv cs.AI (2026-07-29)
主题标签: #ArXiv #视觉-语言模型 #医疗诊断 #幻觉问题 #无图像诊断
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区