arXiv提出基于确定性求解器的临床语言模型新方法
摘要:arXiv发布了一项关于提升临床语言模型在数学计算中可靠性的研究,提出了一种新的程序-求解器接口。该方法通过让模型生成特定案例的Python代码,并由受限的本地执行器作为确定性求解器运行,从而避免直接计算中的数值错误。研究在MedCalc-Bench Verified基准测试上评估了这种方法,结果显示在32B参数模型中表现优异,但在7B参数模型中优势不明显。研究强调,该方法不能完全替代经过验证的公式或可靠的变量提取,但在某些场景下能够提升模型性能。
研究背景与动机
大型语言模型(LLM)在数学计算中的不可靠性一直是临床计算领域的重大挑战,因为单个数值错误可能导致完全不同的建议或结论。传统方法通常是将每个计算器硬编码为经过验证的函数,但这种方法耗时且难以扩展。
新方法:程序-求解器接口
本研究提出了一种替代方案:模型不直接进行计算,而是生成特定案例的Python代码,由一个受限的本地执行器作为确定性求解器运行。模型的任务简化为决定如何使用该求解器。
实验与结果
研究在MedCalc-Bench Verified基准测试(包含1,100个案例和55个计算器)上评估了这种方法,并与直接模型计算和手写22计算器库进行了对比。实验使用了Qwen2.5-7B和Qwen2.5-32B-AWQ模型,并对基准测试中的公式进行了审核,标记出16个存在版本、使用或系数问题的计算器。
实验结果表明,在公式、黄金变量和完整笔记访问权限相同的情况下,7B模型在调用求解器时并未表现出显著优势(75.31%对比72.02%,配对提升3.29个百分点,95%置信区间为[-3.49, 10.38]),而32B模型则表现出明显优势(90.53%对比83.47%,提升7.05个百分点,置信区间为[0.47, 14.60])。手写库在其支持的440个案例中表现精确,但在其他情况下则完全放弃(总体准确率为40.0%)。
结论与影响
添加执行器在某些开放权重模型中比在其他模型中更有帮助,即使在匹配公式、变量和笔记访问权限的情况下也是如此。然而,这种方法不能完全替代经过验证的公式或可靠的变量提取。研究结果为临床语言模型在数学计算中的可靠性提升提供了新的思路,特别是在资源受限或对精度要求较高的场景中。
开发者建议
- 模型选择:在资源允许的情况下,建议使用更大规模的模型(如32B参数)以获得更好的性能。
- 执行器优化:进一步优化本地执行器的性能和安全性,以提升整体系统的可靠性。
- 公式验证:持续对基准测试中的公式进行审核和验证,以确保计算结果的准确性。
- 多模态融合:探索将程序-求解器接口与其他多模态技术结合,以扩展其应用范围。
—— 完 ——消息来源:ArXiv AI (cs.AI) (2026-09-12)
主题标签: #arXiv #临床语言模型 #程序-求解器接口 #确定性求解 #Qwen模型
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区