智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #LLM #AI安全 #推理轨迹 #漏洞

Hugging Face研究揭示LLM API推理轨迹窃取漏洞:AI安全面临新挑战

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face的研究团队发现了一个针对主流大语言模型(LLM)API的严重安全漏洞。该漏洞允许攻击者通过注入加密的推理轨迹(chain-of-thought)到较弱模型中,强制其解密并输出明文,从而绕过反蒸馏机制、窃取模型推理过程,并提取敏感数据。研究团队成功从公共存储库中解码了超过31万条推理轨迹,提取出367个个人身份信息(PII)记录和182个凭证。此外,该漏洞还可能引发不可见的提示注入攻击,危害AI系统的安全性。研究团队提出了具体的加密和系统级缓解措施,以增强客户端推理的安全性。


研究背景与发现

近年来,大语言模型(LLM)提供商为了保护知识产权和防止信息泄露,开始对模型的逐步推理过程(chain-of-thought)进行加密处理。这些加密的推理轨迹以文本块的形式返回给客户端,并在后续请求中重复使用。然而,Hugging Face的研究团队发现了一个严重的架构漏洞:这些加密块在不同会话、用户和模型之间完全兼容且可互换。

攻击机制与影响

研究团队利用这一兼容性开发了一种可扩展的解密攻击方法。通过将给定模型的加密推理轨迹注入到同一提供商旗下的较弱模型中,攻击者可以强制较弱模型解码并输出明文推理轨迹,而无需直接破解更强大的模型。这一漏洞带来了以下四种主要攻击向量:

  1. 绕过反蒸馏机制:攻击者可以提取专有模型的推理过程,研究团队已成功在Anthropic、OpenAI和Google的模型上演示了这一攻击。
  2. 大规模私人数据提取:开发人员经常公开分享会话日志,而不知道加密块的内容。研究团队从公共存储库中解码了315,320条推理轨迹,提取出367个个人身份信息(PII)记录和182个凭证。
  3. 泄露危险信息:即使模型的最终输出安全地拒绝了恶意请求,推理过程中的危险信息仍可能被泄露。
  4. 不可见的提示注入:攻击者可以利用这一漏洞执行不可见的提示注入,将恶意负载嵌入加密块中,从而污染公共智能体部署。

解决方案与建议

在负责任的披露后,研究团队提出了以下具体的加密和系统级缓解措施,以增强客户端推理的安全性:

  • 加密密钥管理:采用更严格的密钥管理策略,确保加密块在不同模型和会话之间不可互换。
  • 模型隔离:在不同的用户和会话之间实现更强的模型隔离,防止跨用户和跨会话的推理轨迹重用。
  • 访问控制:实施更细粒度的访问控制机制,限制对加密推理轨迹的访问权限。
  • 审计与监控:加强对推理轨迹的审计与监控,及时发现和阻止潜在的恶意行为。

行业影响与未来展望

这项研究揭示了LLM API在安全方面面临的全新挑战,凸显了AI系统在保护知识产权和用户数据方面的脆弱性。随着AI技术的不断发展,AI安全领域的攻防博弈将更加激烈。研究团队呼吁AI提供商和开发者高度重视AI安全,采取更积极的安全措施,以应对日益复杂的威胁。


消息来源:Hugging Face Daily Papers (2026-08-10)

—— 完 ——

主题标签: #Hugging Face #LLM #AI安全 #推理轨迹 #漏洞

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…