视觉语言模型也会 subliminal learning：无关数字数据传递隐藏偏好

摘要：一项研究发现，视觉语言模型（VLM）可能在看似无关的微调数据中传递隐藏偏好。研究让带有特定动物或面部属性偏好的教师模型生成几何图形数字答案，再以这些输出训练学生模型；在2B至7B参数模型上，学生对目标对象的选择率相对对照组最高提升约10个百分点，且数据量增加会放大迁移效应。研究还发现，偏好传递不只影响最终选择，还会改变模型解释时使用的词汇和短语。该结果提示，训练数据治理不能只检查表面任务语义，还需监控模型行为与解释风格中的隐性信号。

---

研究发现了什么

这项研究把语言模型中的“潜意识学习”（subliminal learning）现象扩展到视觉语言模型（VLM）。研究者首先从同一基础模型微调出两个教师模型：一个带有特定动物偏好，另一个带有特定面部属性偏好；再构造一个同源的控制教师。三者面对的都是与偏好无关的几何图形数字任务。

随后，研究者从相同的基础VLM初始化学生模型，并使用教师模型生成的数字作为训练监督。除监督信号来源外，学生模型、训练图像和任务设置保持一致，因此可以将学生模型在后续偏好测试中的差异归因于训练数据中的隐性影响，而不是直接接触偏好标签。

在2B至7B参数规模的VLM上，实验观察到两类偏好均可通过与目标偏好无关的数字任务迁移。由偏置教师生成数据训练出的学生，更频繁地选择目标动物或目标面部属性；动物偏好任务中的差异最高约为10个百分点。增加训练样本后，迁移效应可能进一步增强，但幅度也受目标偏好、模型架构以及数字生成方式影响。

更值得注意的是语言层面的变化。即使偏置学生、控制学生和教师最终选择了同一张图片，偏置学生生成的解释仍更常复用偏置教师解释中的相同词汇和短语。这意味着迁移信号不仅停留在答案选择层，也可能影响模型组织视觉判断理由的方式。

技术机制：隐性信号如何进入监督数据

研究的核心不是让教师直接输出“我更喜欢猫”，而是把隐藏偏好编码进表面无关的数值标签。训练损失可以抽象为：

[ L(\theta)=\frac{1}{N}\sum_{i=1}^{N}\ell(f_\theta(x_i), y_i) ]

其中，(x_i) 是几何图形图像，(y_i) 是教师生成的数字。偏置教师与控制教师在图像和任务描述上相同，差异主要体现在输出分布以及由此产生的监督信号统计结构上。即使(y_i) 不包含显式的“偏好”标记，学生仍可能从教师输出的噪声、格式、置信度或微小分布偏移中学习到与教师相关的隐性模式。

这意味着“训练标签不含目标概念”并不能保证模型不会继承目标概念。偏好可能通过监督数据中的统计相关性进入参数更新，尤其在训练样本增加、任务分布狭窄或模型本身具有较强先验偏置时，效应更容易被放大。

如何理解“迁移”而非直接记忆

这项实验并不能简单证明学生记住了教师对某个对象的显式标签。更合理的解释是，教师输出中的非语义信号影响了学生参数，使学生在后续带有偏好的选择任务中表现出与教师一致的倾向。

不过，研究摘要没有给出完整的机制归因，尚不能区分以下几类可能性：

• 教师输出的数值误差模式是否编码了偏好；
• 数字格式、长度或生成策略是否成为隐藏通道；
• 学生是否通过视觉编码器与语言解码器的联合微调重新形成偏好；
• 解释文本的词汇重合是否只是偏好共同作用后的间接结果。

要判断这是普遍机制还是特定数据生成器下的效应，还需要更细粒度的消融实验，例如固定数值分布、只控制输出风格、改变随机种子，以及对教师输出进行分布匹配和统计去相关。

工程影响：数据审计需要从“内容”扩展到“行为”

对VLM训练团队而言，实验提出了一个实际风险：训练数据的内容标签、图像语义与模型最终行为之间可能存在第三方关系。即使训练任务看起来不包含偏好，受污染或带有隐性偏置的监督输出仍可能改变模型的选择和解释。

这类风险在以下场景尤其值得关注：

• 使用教师模型生成合成监督数据；
• 通过多个阶段的数据蒸馏或模型继承构建训练集；
• 将带有已知偏好的模型作为教师；
• 对模型回答理由、拒答模式或视觉偏好进行自动化审计；
• 在不同规模模型上复用同一教师输出。

一个实用的防护流程是：对教师与控制教师的输出做分布比较，训练“偏好探针”检查监督数据是否可预测目标属性；在训练后对学生的选择率、解释词汇和置信度进行联合监控；对同一任务使用多个随机种子和不同教师，以区分真实迁移与偶然过拟合。

评测与工程权衡

研究覆盖2B至7B参数模型，说明该现象并非只出现在超大规模VLM中。但“最高约10个百分点”不应被直接视为跨模型可复现的性能指标：结果明显依赖目标偏好、模型家族、输出生成方式和训练数据量，且摘要没有提供置信区间、显著性检验或完整的基线设置。

从训练成本看，这类实验需要成对教师模型、同源控制教师、多个学生初始化和重复训练。若要扩展到真实生产数据，审计成本还会包括教师输出存储、隐藏信号检测和大规模行为回归测试。换取的是对模型供应链中非显式偏好的可见性，这对安全审计、模型合并和数据许可审查具有实际价值。

开发者落地建议

1. 记录教师来源与版本：在合成数据清单中保存教师模型、权重版本、提示模板和解码参数。
2. 检测输出中的可预测信号：用仅依赖监督输出的分类器，测试其能否预测教师的目标偏好或受保护属性。
3. 建立行为回归集：同时测量答案准确率、目标选择率、解释词汇分布和置信度，不只追踪最终准确率。
4. 控制合成数据规模效应：既然更多样本可能增强迁移，应在不同数据规模上做污染曲线测试。
5. 验证因果链路：加入随机教师、格式匹配控制、分布匹配和输出去相关实验，避免把普通风格迁移误判为隐蔽偏好。

研究边界

当前摘要支持的核心结论是：在受控微调设置下，VLM可以通过表面无关的教师输出继承部分偏好，并在解释风格上表现出相似性。它尚不能证明所有VLM、所有数据管道都会出现稳定传递，也不能量化生产环境中的发生率。后续研究需要扩大到更多架构和真实数据源，并给出可复现的显著性、效应量和机制分析。

---

消息来源：Hugging Face Daily Papers (2026-11-04)

—— 完 ——

主题标签： #视觉语言模型 关注 #潜意识学习 关注 #模型偏置 关注 #合成数据审计 关注