同数据训练的语言模型也会被不同越狱提示击穿

摘要：一项覆盖150个语言模型的研究发现，模型能否被特定越狱提示突破，主要受预训练随机种子影响，而非仅由训练数据和安全后训练决定。同一预训练运行的两个后训练副本，其逐提示非拒答率相关系数达到0.984；更换预训练种子后降至0.811。攻击模板的最优性也难以跨预训练运行迁移，且50个提示即可在98%的情况下识别模型所属的预训练运行。结果表明，单检查点上的越狱评测可能把随机训练轨迹误判为稳定能力，安全评估应覆盖独立预训练与后训练重复。

---

越狱脆弱性为何随“训练身份”改变

这项研究把一个常被忽略的问题变成了可测变量：同一批数据训练出的模型，真的会因为使用相同的安全后训练流程而拥有一致的越狱弱点吗？答案是否定的。模型对特定越狱提示的响应，主要受预训练运行的随机轨迹影响；改变预训练数据配方带来的差异反而相对有限。

研究覆盖25种预训练数据配方。每种配方训练3个不同预训练种子的1B参数基础模型，每个基础模型再使用相同安全后训练方案生成2个后训练种子，总计得到150个模型。研究者针对一组共享越狱提示，为每个模型收集20次响应，并比较所有模型对的逐提示非拒答率相关性。

结果显示：

• 同一预训练运行的两个后训练副本，相关系数平均为0.984；
• 更换预训练种子后，相关系数降至0.811；
• 进一步更换数据配方，相关系数仅小幅降至0.779；
• 这一模式在全部25种配方，以及150M和300M参数规模上均成立。

这意味着，安全后训练可以相对稳定地塑造一个既有检查点的拒答边界，却很难抹除基础模型在预训练阶段形成的特定脆弱性。数据配方决定模型学到了什么，预训练随机性则进一步决定哪些攻击恰好能击中它。

“最佳越狱”通常不是通用越狱

论文进一步测试了攻击模板的可迁移性。在一个检查点上搜索得到的91种攻击模板中，最佳模板遇到新的预训练种子后，仅在27%的模型对中继续保持最佳；换成新的后训练种子后，这一比例则达到67%。

换言之，一个模板在某次训练检查点上排名第一，并不足以证明它对同配方模型普遍有效。攻击排名对预训练运行高度敏感，而对后训练随机性相对稳健。安全团队如果只在单个检查点上搜索提示词，很容易高估该提示的通用性，甚至把训练轨迹特有的偶然弱点当作可复现的模型漏洞。

从评测角度看，这类结果要求同时区分三个层次：

1. 提示攻击能力：攻击是否能让模型产生非拒答响应；
2. 攻击排序稳定性：某一模板是否仍是候选攻击中的最优项；
3. 跨运行可迁移性：结论能否在新的预训练种子和后训练种子中复现。

三层结果可能明显分离。只报告单个模板的成功率，无法回答它究竟是通用漏洞、训练数据特征，还是某个检查点的随机指纹。

每个预训练运行都留下可识别指纹

研究还揭示了更具安全意义的可识别性结果。每个模型在3,211个提示上的逐提示非拒答率，足以在全部75次预训练运行中每次都正确识别其所属运行；即使随机抽取50个提示，识别成功率仍达到98%。

这表明，模型的拒答行为并非只反映统一的“有害性认知”。不同预训练运行会形成可稳定提取的响应指纹。对于红队而言，这意味着针对单一模型调优的越狱提示可能被用作运行级识别信号；对防御者而言，这也说明安全评测数据可能被模型训练轨迹污染，攻击者甚至可能利用指纹推断某个检查点的训练来源或近似模型。

不过，指纹能识别训练运行，不等同于实现了逐样本归因。50个提示仍有2%的识别失败，说明部分边界样本、采样噪声或提示覆盖不足仍会影响判定。研究也没有直接证明指纹能在不同规模、不同架构或公开模型上保持稳定，因此跨模型迁移仍需独立验证。

实验设计的关键工程限制

这项研究的价值来自受控变量设计，但结论仍受以下条件约束：

• 基础模型规模有限：主要实验集中于150M、300M和1B参数模型。安全后训练是否会在更大规模上放大或抹平随机种子差异，尚无直接证据；
• 后训练流程保持一致：如果换用不同RLHF、DPO或规则式安全训练，攻击排序是否仍保持67%的迁移率，需要复验；
• 拒绝判定存在噪声：非拒答率依赖输出分类器或人工规则，分类误判会影响相关系数和最佳攻击排名；
• 提示分布影响结论：共享提示集是否覆盖多语言、组合式攻击、长上下文和多轮越狱，决定了“指纹”的覆盖范围；
• 每提示20次响应只是有限采样：更高采样次数可估计更稳定的非拒答概率，但会线性增加150个模型的评测成本；
• 训练成本很高：每个数据配方需要3次预训练，每个基础模型还需要2次安全后训练，150个模型的规模意味着显著算力投入。

因此，0.811和0.984应被理解为当前受控设置下的相关性，而不是模型安全性的普适理论常数。

对安全评测和红队流程的落地建议

1. 把种子重复纳入正式基准

安全基准不应只发布一个模型检查点上的结果。至少应覆盖多个预训练种子，并单独报告后训练种子方差。两组重复实验应采用相同数据配方和评测提示，再分别计算预训练方差与后训练方差。

2. 报告攻击排名迁移率

除攻击成功率外，应报告攻击模板在不同模型上的排名相关性、Top-k命中率和配对迁移率。这样才能区分“成功率较高但只在少数检查点有效”的局部攻击与真正可泛化的攻击。

3. 使用分层评测集降低指纹误判

固定检查点上的提示搜索容易适配训练指纹。正式评测可采用开发集与保留集分离：一部分提示用于生成或筛选攻击模板，另一部分只用于最终测试，并在每个模型实例上重复采样，以降低对偶然非拒答事件的过拟合。

4. 将跨运行泛化作为发布门槛

对于安全补丁或防御版本，仅比较同一检查点上的攻击成功率不足以证明改进。更可靠的标准是：攻击成功率提升是否在新预训练种子、新后训练种子以及未参与调参的提示模板上同时成立。

5. 防止评测数据泄露

由于50个提示即可高精度识别预训练运行，公开的越狱集合可能被用于模型指纹识别。持续维护评测时，应轮换提示集、隐藏部分探针，并在报告中明确哪些提示被用于攻击搜索，哪些仅用于盲测。

结论

研究把越狱基准的评估单位从“一个模型加一组提示”推进到“多次训练运行上的统计分布”。最稳定的结论并非某个越狱提示是否有效，而是：模型的具体预训练运行会深刻塑造其越狱边界，后训练无法完全消除这种路径依赖。

这意味着，安全能力的工程验证必须跨越预训练种子重复攻击搜索，并明确区分提示级成功率、攻击排序迁移与模型运行指纹。只有这样，基准结果才更接近可部署的鲁棒性，而不是某个检查点的偶然脆弱性。

---

消息来源：Hugging Face Daily Papers (2026-10-25)

—— 完 ——

主题标签： #语言模型安全 关注 #越狱评测 关注 #预训练种子 关注 #红队测试 关注