智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #OncoTriad-QA #多模态 #医学AI #泛癌 #基准测试

OncoTriad-QA基准发布:多模态融合的泛癌推理评测,推动医学AI整合诊断

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv 最新论文提出 OncoTriad-QA,一个患者级别的放射-病理-基因组学多模态基准,用于泛癌问答。该基准包含 86.1k 个语义问题,覆盖 9,281 个 TCGA 患者案例和 32 个癌症队列,整合 CT/MRI、全切片病理、体细胞突变、拷贝数变异、DNA 甲基化、RNA-seq 及临床元数据。研究同时提出参考多模态模型 OncoVLM,通过学习投影器将各模态证据映射到 LLM 接口。实验表明,现有通用和医学 LLM 在综合泛癌问答上表现有限,而微调后的 OncoVLM 在 MCQ 准确率和 BERTScore-F1 上平均超过 MedGemma-4B 10.7 分,展示了该基准在训练和评估整合癌症问答模型中的价值。


概述

癌症诊断和表征需要整合来自放射学、病理学、基因组学和临床元数据的互补证据。然而,大多数医学大语言模型(LLM)和视觉语言模型(VLM)基准仅关注孤立模态或狭窄的图像-文本任务,导致患者级别的多证据流肿瘤评估在很大程度上未被测试。为此,研究者提出了 OncoTriad-QA,一个患者级别的放射-病理-基因组学基准,用于泛癌问答。

基准构建

OncoTriad-QA 包含 86.1k 个语义问题,覆盖 9,281 个 TCGA 患者案例,来自 32 个癌症队列。每个案例整合了以下模态:

  • CT/MRI 放射影像
  • 全切片组织病理学
  • 体细胞突变
  • 拷贝数变异
  • DNA 甲基化
  • bulk RNA-seq
  • 临床元数据

案例特定的标注通过源接地 LLM 辅助流水线构建,使用精选标签、诊断报告、分子谱和模态派生证据作为主要事实来源,并辅以自动一致性检查和临床医生审查。

参考模型 OncoVLM

研究者还引入了 OncoVLM,一个参考多模态模型,通过学习投影器将模态原生的放射学、病理学、DNA 甲基化和 RNA-seq 证据映射到 LLM 接口。该模型旨在作为基准的基线,并验证基准对模型训练的效用。

实验结果

实验表明,现有的通用和医学 LLM 在综合泛癌问答上表现有限,尤其是当问题需要整合影像发现、肿瘤形态和分子证据时。在 OncoTriad-QA 上微调后,OncoVLM 在 MCQ 准确率和 BERTScore-F1 上平均超过 MedGemma-4B 10.7 分,且在仅放射、仅病理和全可用设置下,多项选择和开放式问题均有一致提升。

行业影响与开发者建议

  • 推动医学 AI 整合诊断:该基准填补了多模态整合评估的空白,为开发能够综合多源证据的医学 AI 提供了标准。
  • 模型训练与评估:开发者可利用该基准微调和评估自己的模型,提升在真实临床场景中的泛化能力。
  • 多模态融合技术:OncoVLM 的投影器方法为多模态融合提供了可借鉴的架构,尤其适用于医学影像与分子数据的结合。

出处

本文基于 arXiv 论文(arXiv:2608.02615)撰写,原文链接:https://arxiv.org/abs/2608.02615

—— 完 ——

主题标签: #OncoTriad-QA #多模态 #医学AI #泛癌 #基准测试

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…