智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #模型后门 #AI智能体安全 #权重审计 #模型供应链 #Microsoft Research

Microsoft揭示Lazarus权重后门:改写不足10个神经元即可劫持AI智能体

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version

摘要:Microsoft Research披露权重空间后门Lazarus:攻击者无需重新训练,只要重编程大语言模型中不足10个休眠神经元,就能把隐藏触发器与恶意Token注入关联起来。模型在触发前可正常通过标准评测,一旦日期、文本模式等信号出现,便可能向具备终端权限的智能体注入下载并执行恶意代码的命令。其特殊风险在于攻击只需推理算力和检查点写权限,且开源模型与闭源模型都可能暴露于供应链或内部人员风险。防御重点应从单次安全评测转向权重来源验证、原始权重差分、智能体权限隔离和运行时审计。


Microsoft Research披露了名为 Lazarus 的模型权重后门:攻击者无需重新训练,只要改写大语言模型中不足10个休眠神经元,就可能把隐藏触发器与恶意Token序列绑定。当模型收到特定日期、文本模式或其他触发信号时,休眠神经元会被重新激活,向残差流注入攻击者指定的Token;如果该模型驱动具备Shell、浏览器或文件工具权限的智能体,后门就可能升级为远程代码执行、数据窃取或破坏性操作。

后门如何藏进模型权重

Lazarus 攻击的是模型内部长期存在但很少激活的神经元。预训练会把语义、语法和任务模式组织到高维残差流中;即使某个神经元在正常推理中很少发挥作用,其输出方向仍可能保留可被检测的特征空间。研究人员利用约50个带触发器与不带触发器的样本训练线性分类器,以识别目标输入是否触发该神经元。

一旦目标神经元被改写并激活,其输出会被“放大”到残差流中,足以强制模型生成指定Token。单个神经元可以注入一个Token,串联多个神经元则可以构造更长的命令载荷。触发器甚至可以是日期切换,例如系统在进入2027年后,智能体在正常任务中突然输出下载并执行攻击者代码的命令。

从机制上看,这不是传统的训练集投毒,而是更接近模型参数供应链攻击:攻击者不需要梯度训练,也不需要构造大量后门样本,只需获得检查点的写权限并定位、修改少量权重。Microsoft称,只要设备具备运行模型所需的内存,通常也具备完成这种权重空间攻击所需的基础计算条件。

为什么标准评测可能失效

Lazarus 的危险之处不在于模型平时是否异常,而在于它能够把恶意行为绑定到低频输入条件。攻击者可以保留主体能力的正常表现,使模型在常规能力测试、安全基准和人工抽查中均不暴露问题。直到智能体进入带有目标触发器的真实环境,后门路径才可能被激活。

因此,静态行为评测只能覆盖已经进入评测集的场景,无法证明不存在未知触发器。Microsoft明确指出,前沿模型可以协助识别异常权重修改,但这仍只是风险信号,不构成“模型安全”的数学证明。可靠检测的关键是保留并比对未经修改的基准权重,确认从开发者发布到生产部署之间是否发生过变化。

这项发现同样不意味着开放权重天然更危险。攻击所需的是检查点写权限,因此内部训练流水线、对象存储、代码仓库、CI/CD凭据或模型托管账户一旦被攻破,都可能成为植入点。闭源API只能隐藏权重,不能从机制上阻止供应环节的恶意修改。真正需要治理的是权重完整性、来源可验证性和部署权限。

对工具型智能体的放大效应

普通聊天模型生成恶意文本,通常仍需用户或外部系统实际执行;工具型智能体则会把文本输出接入命令解释器、代码执行器、浏览器或API。由于模型生成与工具执行之间往往缺少足够强的确认边界,后门Token一旦成功注入,就可能跨越“建议”与“行动”之间的安全边界。

风险随权限提升而快速扩大:只读搜索工具可能造成数据外传,文件写入工具可能修改配置,Shell执行能力则可能直接形成主机级入侵。攻击的实际危害因此不只取决于后门强度,还取决于智能体的凭据范围、网络出口、文件系统权限和审批机制。

微软给出的部署建议是:将模型权重当作代码审计;对第三方检查点进行权重级红队测试;保存发布版本并执行逐层或逐张量差分;限制智能体工具权限;监控命令、文件和网络行为;对高后果动作加入人工或策略审批。审计结果只能作为证据,不能被解释为绝对安全保证。

模型审计与供应链防护

Microsoft Foundry目前会在接入开放权重模型时核对可信发布方和模型卡来源,并扫描承载模型的容器环境,以降低来源替换及运行时漏洞风险。团队还在开发三类能力:由前沿模型辅助执行的权重异常扫描、用于发现模型修改的红队工具,以及带防篡改审计轨迹的密码学模型签名。

这些措施构成的是纵深防御,而不是单一扫描器:

  • 来源绑定:将检查点哈希、发布方身份、版本和构建流程绑定到部署记录。
  • 权重完整性:在制品库、下载链路和GPU节点之间验证签名或哈希,阻断未授权修改。
  • 基线差分:保留可信原始权重,比较异常参数变化,并重点审查与触发器线性可分性相关的方向。
  • 行为红队:除常规任务外,系统测试日期、角色标记、编码文本和多模态输入等隐蔽触发条件。
  • 运行时隔离:智能体默认使用最小权限凭据、网络出口白名单、短期令牌和不可写系统目录。
  • 高风险审批:命令执行、凭据读取、数据外传和破坏性文件操作必须经过独立策略检查。
  • 持续审计:保存模型版本、工具调用、终端输出与审批记录,支持攻击后的归因和回滚。

工程落地的现实限制

权重扫描仍面临显著成本与准确率限制。完整参数差分可以发现文件级变化,却难以仅凭数值差异准确区分恶意后门与量化、格式转换、适配器合并或合法微调;前沿模型辅助扫描同样可能产生误报和漏报。更可行的路线是组合验证:先做哈希与签名校验,再缩小发生变化的权重范围,随后结合可分性探测、激活异常和触发器红队测试复核。

组织还需要考虑误报成本。公开权重、衍生量化版本和社区微调模型可能频繁更新,若要求所有变化都经过人工审查,会拖慢部署;若只依赖行为评测,又无法覆盖未知触发器。因此可按模型能力、外部输入覆盖率和工具权限分级:高权限生产智能体需要更严格的来源证明、基线差分和执行隔离。

Lazarus带来的关键结论并非“模型被发现了新的神秘漏洞”,而是模型权重应像代码制品一样接受持续审计。对于能够调用终端和其他高权限工具的智能体,来源追踪、权重完整性与运行时最小权限必须同时成立;任何单靠发布前安全评测建立的安全假设,都不足以覆盖部署后的模型供应链风险。


消息来源:Microsoft Research AI (2026-11-10)

—— 完 ——

主题标签: #模型后门 #AI智能体安全 #权重审计 #模型供应链 #Microsoft Research

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

社区整体评论区

正在加载实时智能评论与划词标注…