arXiv发布CNRF框架：革新视觉语言模型安全防御机制

摘要：arXiv发布了一种名为Counterfactual Neighborhood Risk Fields (CNRF)的新框架，用于提升视觉语言模型（VLMs）的安全防御能力。CNRF通过构建上下文匹配的良性-有害反事实对，利用其表示差异作为能力相关的风险方向，并独立估计邻域支持与风险，从而避免将不熟悉性与危害性混淆，实现选择性干预而非全面拒绝。该方法在多个VLMs和五种多模态越狱攻击测试中，防御成功率达到了86.06%-89.30%，同时保持了显著的良性任务效用。

---

1. 背景与动机

视觉语言模型（VLMs）在处理多模态数据时面临诸多安全挑战，例如有害输入的识别与防御。传统的基于表示的安全防御方法通常侧重于将有害输入与良性输入分离，但这种分离本身并不能解释风险评分的含义或何时应信任该评分。

2. CNRF框架的核心机制

CNRF框架通过以下步骤实现更精细的安全防御：

1. 构建反事实对：创建上下文匹配的有害-良性输入对。
2. 提取风险方向：利用这些对之间的表示差异作为能力相关的风险方向。
3. 独立估计邻域支持：将邻域支持与风险评估分离，避免将不熟悉性误判为危害性。
4. 选择性干预：通过受害者自适应接口，根据不同VLMs的安全观察结果，路由选定的请求进行同受害者响应审查，从而释放可接受的候选结果或生成具有降低危害能力的约束替代方案。

3. 实验结果与性能

在三个VLMs和五种多模态越狱攻击家族的测试中，CNRF框架表现出色：

• 防御成功率：86.06%-89.30%的宏观防御成功率。
• 良性任务效用：在保持高防御率的同时，保留了大部分良性任务的效用。

此外，实验还表明，查询匹配的引用和保留的上下文-答案对应关系在低误报率情况下显著提升了风险排序的准确性。

4. 技术创新与优势

• 反事实分析：通过构建反事实对，CNRF能够更准确地识别风险方向。
• 选择性干预：避免了对所有输入的全面拒绝，实现了更精细的安全控制。
• 受害者自适应接口：能够适应不同VLMs的安全观察结果，提升了框架的通用性。

5. 未来展望

CNRF框架为VLMs的安全防御提供了一种新的思路，未来可以进一步扩展到其他类型的AI模型和应用场景中。此外，CNRF的机制还可以与其他安全技术结合使用，以提供更强大的安全防御能力。

---

消息来源：ArXiv AI (cs.AI) (2026-10-16)

—— 完 ——

主题标签： #CNRF 关注 #安全防御 关注 #视觉语言模型 关注 #arXiv 关注