WMDP机制研究：多选题格式会绕过大模型拒答机制

摘要：一项针对 Llama-3.1-8B 与 Qwen3-8B 的机制研究发现，大模型在多选题格式下会较早锁定答案字母，而开放式提问中的拒答意图则逐步形成。MCQ 格式对应的模型激活距离拒答方向约远3倍；消融承载答案选择的注意力头后，模型拒答率反而上升。这表明 WMDP 等多选题安全分数主要反映危险知识掌握程度与任务格式效应，不能直接代表模型的拒答和防护机制是否可靠。

---

核心发现：模型不是“学会了安全”，而是先锁定了答案字母

这项研究针对大模型安全评测中的一个长期盲点：WMDP 等基准通常要求模型在 A、B、C、D 等选项中作答，而模型只要输出一个答案字母，就会被计为非拒答。然而，这种结果可能并非来自模型缺少安全对齐，而是来自多选题格式对内部计算路径的改变。

研究在 Llama-3.1-8B 和 Qwen3-8B 上比较了多选题与开放式提示。作者使用 tuned lens 将中间层隐藏状态映射到模型输出词表，观察模型何时形成最终答案或拒答意图。结果显示，在多选题条件下，模型很早就向某个答案字母 Token 收敛；开放式条件下，拒答方向则在生成过程中逐步建立。前者更像格式驱动的早期决策，后者才接近基于风险判断逐步形成的拒绝行为。

这意味着，单看最终输出无法区分两种机制：模型究竟是因为内部安全策略而没有拒答，还是因为答案字母的格式约束提前把计算锁定在作答路径上。

机制证据：答案选择与拒答在内部发生竞争

作者进一步测量隐藏状态相对“拒答方向”的距离。多选题提示对应的激活位置约比开放式提示远3倍，说明格式本身会推动模型远离拒答表征。这里的“3倍”是特定模型、任务和探针定义下的相对几何距离，不应直接解释为拒答风险增加三倍，也不意味着所有提示模板都会产生相同效应。

更具因果性的证据来自注意力头消融。研究移除负责携带 MCQ 答案选择的注意力头后，模型的拒答反而增加。如果安全对齐只是与知识调用并存，而没有发生路径竞争，单纯削弱答案机制通常不应增强拒绝。该结果支持一个更具体的解释：模型面对高风险问题时，内部存在“尽快选择答案”与“拒绝提供危险协助”两条竞争路径；MCQ 格式让前者更早取得控制权。

不过，注意力头消融会同时改变模型的正常答题能力，因此它证明的是“这些头参与了答案选择及竞争”，而非已经分离出一个纯粹的“格式绕过头”。更完整的因果识别还需要同时测量准确率、拒答率、跨提示模板稳定性以及知识型危险请求与格式型危险请求的差异。

为什么 WMDP 的 MCQ 分数不能直接代表安全性

WMDP 的多选题成绩混合了至少三种因素：

1. 知识能力：模型是否知道相关危险知识；
2. 格式适配：模型是否理解并执行选项输出协议；
3. 安全机制：模型是否愿意在具备相关知识时拒绝协助。

传统打分通常将“给出正确选项”与“没有拒答”同时计为成功，但 MCQ 格式会放大答案选择机制，削弱拒答机制相对于知识调用的可观测性。因此，高分可能主要意味着危险知识更容易被提取，而非模型在自由生成场景中更不负责；反之，低分也可能来自模型不会解题，而不是安全对齐更强。

论文的核心批评并非否定 WMDP 的知识测量价值，而是反对用单一 MCQ 安全分数替代对安全行为的直接评估。一个更合理的评测矩阵应分别测量知识检索、任务准确率、拒答触发率、拒答稳定性以及真实生产提示下的安全行为。

评测设计：需要控制格式，而不只是更换题目

安全基准若要测量拒答机制，至少应加入以下对照：

• 同一知识内容分别采用 MCQ、开放式问答、完形填空和对话式请求；
• 随机化选项内容、选项顺序、答案字母与提示模板，降低位置和格式捷径；
• 将“答对”与“拒答”拆成两个正交指标，避免单一准确率掩盖机制差异；
• 在不同危险知识覆盖度下测量拒答阈值，判断模型是在不知道、还是在知道时选择拒绝；
• 使用多个模型家族、提示模板和随机种子，防止把某个检查点的偶然路径当成稳定安全属性。

尤其需要避免把拒答率本身直接当作安全性的充分证据。过度拒答会损害可用性，而模型也可能通过模糊回答、概念改写或分步拆解绕过表面拒答。后续评测应同时检查拒答、正确拒绝、过度拒绝与间接协助。

工程权衡：安全评测可解释性带来的额外成本

tuned lens 和定向注意力头消融适合研究内部机制，但不是可随意加入线上服务的组件。tuned lens 需要为模型各层训练或拟合输出词表投影，通常会增加训练数据、探针稳定性与校准成本；消融实验则需要重复前向计算，样本量往往远大于常规基准测试。对 8B 模型而言，这类分析在单卡或研究集群上可执行，但扩展到数十种模型与大量提示时，成本会迅速累积。

工程上更实用的折中方案，是将机制分析作为离线审计环节，而不是在线拦截器。团队可先通过格式对照和分层评分识别不可靠的 MCQ 安全结论，再对高风险部署模型补充开放式红队测试、行为轨迹评估与独立审查。

开发者与评测团队的行动建议

对于使用 WMDP 或其他 MCQ 安全基准的团队，不应继续把单一准确率解释为“模型更安全”或“模型更危险”。至少应重新计算：

• 同一知识条件下的 MCQ 正确率；
• 开放提示下的拒答率与过度拒答率；
• 更换选项顺序、答案位置和提示模板后的稳定性；
• 不同模型家族与独立训练运行之间的一致性。

对于模型开发者，安全后训练不应只优化“能选中某个危险选项”的代理目标。更有效的训练目标应直接约束拒绝行为在自由生成、选择题和混合工具调用中的迁移，并在训练中明确区分知识召回与安全决策。

结论

WMDP 的机制分析揭示了一个评测层面的错位：多选题不是中性的“答题壳”，它会改变模型内部的决策时序，并让答案选择压过拒答。由此得到的 MCQ 安全分数更像危险知识可提取性的指标，而不是安全机制有效性的可靠代理。安全评测若要回答“模型会不会协助”，必须控制提示格式，并把知识能力、任务表现和拒绝行为拆开测量。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-09)

—— 完 ——

主题标签： #LLM安全评测 关注 #WMDP 关注 #拒答机制 关注 #可解释性 关注 #注意力消融 关注