arXiv发布CoFiBreak：提升多轮越狱攻击多样性与效率的新方法

摘要：arXiv近日发布了一种名为CoFiBreak的新方法，用于提升多轮越狱攻击的多样性，同时保持攻击的高效性。CoFiBreak通过粗粒度与细粒度奖励机制优化Group Relative Policy Optimization (GRPO)，在攻击成功率与多样性之间取得平衡。实验结果表明，CoFiBreak在多个基准测试中表现优异，例如在AdvBench上实现了98.8%的攻击成功率，并在未见过的Claude-Opus-4.6模型上达到了71.0%的攻击成功率。该方法不仅提升了攻击策略的多样性，还确保了推理效率，为AI安全评估提供了更全面的工具。

---

1. 背景与动机

在AI安全领域，自动化红队测试（Automated Red Teaming）通过训练攻击性大语言模型（LLM）来诱使目标LLM产生有害响应。然而，现有方法通常仅以攻击成功作为奖励，这会导致攻击策略的多样性下降，攻击者倾向于使用相似的攻击模式。这种多样性缺失会使得AI安全评估偏向于重复测试相似的攻击模式，而非深入探索潜在的有害意图。

2. CoFiBreak的核心机制

CoFiBreak提出了一种粗粒度到细粒度的多样性奖励机制，用于优化Group Relative Policy Optimization (GRPO)。其核心机制包括：

• 粗粒度奖励：通过鼓励在每个GRPO组内未被充分使用的策略，扩大攻击者使用的策略范围。
• 细粒度奖励：在有害意图信息从提示嵌入中移除后，通过阻止重复使用相同的人物、框架和输出格式，扩大策略的实现方式。

此外，多样性奖励仅应用于超过有效性阈值的攻击，确保多样性不会通过无效攻击获得。由于两种奖励仅在训练期间计算，CoFiBreak还保持了推理效率。

3. 实验结果与性能

在以Llama3.1-8B-Instruct为目标的实验中，CoFiBreak在HarmBench上发现了比最强基线多1.6-2.0倍的独特成功细粒度策略。在AdvBench上，CoFiBreak实现了98.8%的攻击成功率（ASR@10），并且多样性得分是所有比较方法中最高的，达到最强攻击基线的2.1倍。

此外，CoFiBreak的攻击能够转移到未见过的前沿LLM上，例如在AdvBench上对Claude-Opus-4.6实现了71.0%的ASR@10。

4. 技术权衡与局限性

尽管CoFiBreak在提升攻击多样性和成功率方面表现出色，但其对训练数据的需求较高，可能导致训练成本增加。此外，多样性奖励机制的实现复杂度较高，需要精细的调优以避免对攻击有效性的负面影响。

5. 开发者建议

• 训练数据管理：建议开发者使用高质量、多样化的训练数据，以充分发挥CoFiBreak的优势。
• 参数调优：在应用CoFiBreak时，需根据具体任务和目标模型进行细致的参数调优，以确保攻击策略的有效性和多样性。
• 安全性评估：建议在受控环境中测试CoFiBreak，以评估其对AI系统安全性的影响。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-02)

—— 完 ——

主题标签： #CoFiBreak 关注 #AI安全 关注 #多轮越狱 关注 #攻击多样性 关注 #arXiv 关注