Hugging Face研究揭示视觉-语言模型视觉定位安全风险并提出改进方案

摘要：Hugging Face的研究团队系统分析了视觉-语言模型（VLMs）在视觉定位（Visual Grounding）中的安全问题，发现模型在处理有害请求时，对文本回答（VQA）的拒绝率显著高于视觉定位（点或边界框）的拒绝率，差距高达31-59个百分点。研究提出了一种结合定位形式拒绝、能力定位数据和自蒸馏良性数据的微调方法，显著提升了Qwen3-VL-8B和VisionReasoner-7B在多个安全基准测试中的表现，同时保持了模型的定位能力并限制了过度拒绝问题。

---

研究背景与动机

随着视觉-语言模型（VLMs）在机器人、自动驾驶等领域的应用日益广泛，其生成的结构化输出（如点坐标和边界框）成为下游接口和智能体行动的重要依据。然而，现有研究对视觉定位（Visual Grounding）这一输出通道的安全对齐问题尚未进行系统分析。

主要发现

研究团队通过重新利用三个安全基准测试（VLSU、BBQ-V和Asimov-2.0），构建了15,401对有害请求的匹配对，这些请求仅在输出形式上有所不同：文本回答（VQA）或视觉定位（点或边界框）。实验结果表明，模型在面对有害请求时，对文本回答的拒绝率显著高于视觉定位，差距在31-59个百分点之间，且安全系统提示无法有效缩小这一差距。

改进方法

为了解决上述问题，研究团队提出了一种新的微调方法。该方法结合了定位形式的拒绝数据、能力定位数据和自蒸馏的良性数据，以对抗过度拒绝问题。实验结果显示，该方法在VLSU和BBQ-V基准测试中，Qwen3-VL-8B和VisionReasoner-7B的视觉定位拒绝率提升了77-95个百分点，在Asimov-2.0的保留域中提升了64-85个百分点，同时保持了模型的定位能力，并限制了过度拒绝问题。

结论与影响

这项研究揭示了视觉-语言模型在视觉定位中的安全漏洞，并提出了一种有效的改进方案。研究表明，通过合理的微调策略，可以显著提升模型在处理有害请求时的安全性，同时不影响其核心功能。这为未来VLMs在安全关键领域的应用提供了重要的技术参考。

---

消息来源：Hugging Face Daily Papers (2026-10-05)

—— 完 ——

主题标签： #视觉-语言模型 关注 #视觉定位 关注 #安全对齐 关注 #微调方法 关注 #Hugging Face 关注