国家提示词扰动大模型肾病筛查结果，临床决策需警惕地理偏差

摘要：一项针对慢性肾病（CKD）零样本筛查的研究在保持患者临床输入不变的情况下，将提示词中的国家属性替换为25种地理环境，并测试Qwen3 8B与Mistral 7B。结果显示，非肾病患者的预测总体稳定，但阳性判断明显受国家提示词影响：Qwen3的CKD预测数从基线65降至最低50。研究认为，这种变化未必反映真实流行病学差异，也可能来自模型内部对国家Token的表征差异，提醒医疗部署者不能把模型对地域语境的高敏感性直接当作临床泛化能力。

---

地理提示词不应被模型当作临床变量

这项研究把慢性肾病（CKD）零样本筛查拆成一个受控干预：在患者临床特征完全不变的情况下，仅改变提示词中的国家属性，观察大模型输出是否随之变化。研究使用孟加拉国社区 CKD 数据集，共284名参与者，其中112名为CKD、172名为非CKD；实验覆盖25种国家上下文，并测试Qwen3 8B与Mistral 7B两款开放权重模型。

主分析使用的是两个模型均能正确完成基线判断的156名受试者子集，因此它更接近“寻找可被地域提示扰动的决策边界”，而不是完整数据集上的诊断性能评估。

结果呈现明显的类别不对称：非CKD预测在几乎所有国家上下文中保持稳定，而CKD阳性预测更易改变。Qwen3的CKD预测数从基线65降至最低50，Mistral的变化幅度较小但同样不可忽略。换言之，同一组患者数据仅因提示中国家名称改变，就可能跨越疾病判定边界。

扰动可能来自Token表征，而非现实差异

研究没有发现国家上下文按既有流行病学特征或医疗体系相似性形成清晰分组。不同国家的响应聚类反而更像是模型内部国家Token表征的可视化结果。这意味着，国家名称未必被模型理解为“真实世界人群统计信息”，也可能充当了一个与答案分布存在隐式关联的提示特征。

从语言模型机制看，国家Token通常以普通离散Token进入上下文，其嵌入会参与注意力和后续层状态更新。若训练数据中某国家与特定疾病文本、病例描述或医学问答模板存在共现，模型可能学到类似先验的相关性。于是，提示中的国家名称不再只是环境说明，而成为隐性的预测特征。

这解释了一个重要现象：改变国家上下文并没有合理地改变患者风险，却改变了模型的阳性判定。对于临床支持系统，这类行为比单纯的总体准确率下降更危险，因为它可能绕过既有的风险阈值，以“看起来合理”的上下文解释包装不稳定输出。

当前证据仍不足以支持临床部署

研究的样本规模有限，来源集中于单一社区数据集；156人的共同正确子集虽然能控制基线能力差异，却也会排除困难病例，可能低估真实人群中的总体扰动。论文还只测试两个8B和7B级开放权重模型，没有覆盖更强模型、不同医学微调方式、量化解码或提示模板变体。

此外，国家上下文与患者输入在提示中的具体位置会影响注意力分配。论文尚未充分区分以下机制：

• 国家Token是否直接触发疾病先验；
• 顺序、位置编码是否放大了语义偏差；
• 模型输出概率的随机波动是否贡献了部分差异；
• 临床特征不足时，模型是否用国家标签填补缺失信息。

因此，结果足以构成稳健性警报，但尚不足以量化所有模型在真实医疗流程中的风险幅度。

部署前需要加入地理不变性测试

医疗AI评估不应只比较模型版本或整体AUC。工程团队可以在传统测试集中加入地理反事实测试：复制完全相同的患者记录，只替换国家、地区或医院背景字段；若预测类别、阳性概率或转诊建议发生显著变化，就将其标记为上下文敏感失败。

建议至少同时记录以下指标：

1. 预测翻转率：更换国家标签后，正负类别发生改变的比例；
2. 概率漂移：同一患者在25种上下文中的最大与最小阳性概率差；
3. 临床阈值穿越率：输出跨越预设转诊阈值的人数；
4. 校准偏差：不同国家上下文下，预测概率与实际CKD标签的校准误差；
5. 最坏上下文风险：选择对模型最不利的国家提示，评估漏诊与误报。

对于模型开发，训练与微调数据应覆盖不同国家的等质量病例，避免形成“国家名称—疾病标签”的虚假捷径。评测集还应包含人口学特征相近、但国家背景不同的配对样本，以直接测量模型是否错误利用地域代理变量。

工程落地应采用“拒绝不稳定输出”策略

在真实辅助诊断流程中，模型输出不应直接触发临床行动。更稳妥的设计是保留原始概率和完整推理轨迹，针对同一患者运行多种等价地域提示；如果结果跨过分类或转诊阈值，系统应标记为上下文不稳健，并回退到结构化风险模型、规则引擎或人工复核。

这类策略的成本高于单次提示，但比隐藏地域敏感性的黑盒接口更容易审计。对于问诊模型，还可对提示模板做语义等价归一化，避免国家字段直接进入模型，或在预训练表示层中测量国家Token与疾病Token的相似性、探针可分性和注意力集中程度。

核心启示

这项工作没有证明模型掌握了国家与CKD之间真实、稳定的流行病学关系；相反，它展示了一个更基础的风险：当模型面对不足或含噪的临床信息时，国家名称可能成为未经校准的隐性决策捷径。其工程意义不在于某个固定准确率，而在于提示模型建立新的准入标准：临床输入不变时，非临床上下文也不应系统性改变高风险决策。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-09)

—— 完 ——

主题标签： #大模型可靠性 关注 #医疗AI 关注 #地理偏差 关注 #提示词敏感性 关注 #慢性肾病筛查 关注