EleutherAI揭示预训练中的潜在学习机制：跨模型蒸馏实现偏好传递

摘要：EleutherAI的研究团队通过跨模型蒸馏技术，揭示了预训练过程中潜在学习（Subliminal Learning）的机制。研究表明，偏好传递不受模型初始化、数据顺序、语料库、规模及架构差异的影响，且偏好传递与偏好获取是可分离的能力。研究还发现，模型在预训练过程中不同阶段对偏好的传递和获取能力存在显著差异，为AI模型的行为可解释性提供了新的见解。

---

研究背景与动机

潜在学习（Subliminal Learning）是指学生模型通过与偏好无关的训练数据获得教师模型的偏好。在AI模型训练中，这一现象引发了关于模型行为可解释性和训练数据影响的广泛讨论。EleutherAI的研究旨在通过跨模型蒸馏技术，深入探究潜在学习的机制及其在不同模型配置下的表现。

研究方法

研究采用了PolyPythia和DataDecide OLMo模型，通过硬标签数字蒸馏和软标签策略蒸馏两种设置进行实验：

1. 硬标签数字蒸馏：学生模型在教师模型生成的数字序列上进行训练。
2. 软标签策略蒸馏：学生模型生成文本，并从教师模型的下一个token概率分布中学习。

主要发现

1. 跨模型偏好传递的鲁棒性：

   • 偏好传递不受模型初始化、数据顺序、训练语料库、规模及架构差异的影响。
   • 在不同模型对之间，偏好传递表现出显著的双向性，表明传递和获取偏好是分离的能力。

2. 预训练过程中的动态变化：

   • 在预训练过程中，偏好传递能力并非线性增长，而是呈现阶段性变化。
   • 某些检查点作为教师模型表现优异，但作为学生模型则较弱，反之亦然。

3. 偏好信号传递的机制：

   • 数字频率在偏好传递中起到了关键作用。
   • 限制损失函数为顶级token可以增强软标签传递，而移除与动物相关的token会显著降低传递效果。

4. 训练方法的独立性：

   • 低秩适配器或自适应优化器并非潜在学习所必需。
   • 研究在Pythia-160M模型的全量微调中，使用简单的SGD优化器实现了偏好传递。

工程权衡与实际应用

1. 模型训练效率：

   • 硬标签数字蒸馏方法计算开销较低，但传递的偏好信号较为有限。
   • 软标签策略蒸馏方法传递的偏好信号更丰富，但计算开销较高。

2. 模型行为可解释性：

   • 研究表明，偏好传递的机制可以通过数字频率和token选择进行调节，这为AI模型的行为控制提供了新的思路。

3. 资源受限场景下的应用：

   • 研究结果对资源受限场景下的AI模型训练具有重要意义，例如在低计算资源环境下，可以通过优化蒸馏方法实现有效的偏好传递。

开发者建议

1. 模型选择与配置：

   • 在进行跨模型蒸馏时，应根据具体应用场景选择合适的模型架构和蒸馏方法。

2. 训练数据与检查点管理：

   • 预训练过程中的不同检查点对偏好传递的影响不同，建议在训练过程中定期保存检查点并评估其作为教师或学生的表现。

3. 偏好信号的控制与调节：

   • 通过调整训练数据中的数字频率和token选择，可以有效控制偏好传递的强度和方向。

结论

EleutherAI的研究揭示了预训练过程中潜在学习的复杂机制，为AI模型的行为可解释性和训练方法优化提供了新的视角。未来的研究可以进一步探索不同类型的偏好传递机制及其在更复杂任务中的应用。

---

消息来源：EleutherAI Blog (2026-10-25)

—— 完 ——

主题标签： #EleutherAI 关注 #预训练 关注 #潜在学习 关注 #跨模型蒸馏 关注 #AI行为可解释性 关注