FedPref:基于联邦偏好学习的结构化放射报告提取框架发布
摘要:FedPref是一种新型联邦学习框架,旨在解决跨机构数据分布不均的问题,通过协作训练实现高效且安全的放射报告提取。该框架利用冻结的公共语言模型生成候选JSON提取结果,并通过本地标注进行排序,最终在无需共享报告或标注数据的情况下实现模型适配器的高效训练。实验结果表明,FedPref在数据量较少和疾病分布不均的模拟医院环境中显著提升了F1得分,尤其在数据最少的机构中表现最为突出。
背景与挑战
在医疗领域,放射报告通常以自由文本形式存在,但下游的搜索和分析需要将这些关系映射到固定的结构化模式中。然而,学习这种提取任务面临数据标签分布不均的挑战:小型医院数据量有限,而数据池化可能因隐私问题而不可行。
FedPref框架
FedPref提出了一种创新的联邦学习解决方案,其核心机制包括:
- 公共语言模型生成候选提取:利用冻结的公共语言模型生成候选的JSON提取结果。
- 本地标注排序:各机构对候选提取结果进行本地标注和排序。
- 协作训练紧凑型适配器:各机构仅共享模型更新,协作训练紧凑型Qwen3-8B适配器。
- 异构教师池提供跨模型对比:当单一模型样本崩溃时,异构教师池提供跨模型对比以增强学习效果。
实验结果
在模拟的六家医院数据上,FedPref相较于各机构独立训练,客户端平均F1得分提升了2.49个百分点,最差站点F1得分提升了9.10个百分点。在400份手动验证的黄金测试集上,FedPref达到了68.68的F1得分,而数据池化训练为71.67,验证了FedPref在数据隐私保护下的有效性。
行业影响与开发者建议
- 隐私保护与协作学习:FedPref为医疗领域及其他对数据隐私敏感的行业提供了一种有效的协作学习方案。
- 资源优化:该框架特别适用于数据量有限且分布不均的场景,能够最大化利用现有资源。
- 未来方向:未来可以进一步优化模型适配器的训练效率,并探索更多跨机构数据协作的可能性。
技术亮点
- 联邦学习与隐私保护:通过仅共享模型更新,避免了数据泄露风险。
- 异构教师池:在单一模型样本崩溃时提供跨模型对比,提升学习效果。
- 本地标注与排序:确保了模型对本地数据特征的适应性。
结论
FedPref展示了联邦学习在处理跨机构数据协作问题中的潜力,为医疗AI的进一步发展提供了新的思路。
出处: arXiv:2608.16971
—— 完 ——消息来源:ArXiv AI (cs.AI) (2026-08-19)
主题标签: #联邦学习 #医疗AI #数据隐私 #结构化提取 #arXiv
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区