智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #AI安全 #模型逆向工程 #神经网络 #曲率密码分析 #AI模型

突破性研究:平滑前馈神经网络隐藏结构提取与功能替代新方法

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:本研究提出了一种基于曲率密码分析的新方法,用于提取平滑前馈神经网络(FFNs)的隐藏结构。该方法利用输入黑盒查询,通过二阶泄漏通道收集Hessian矩阵,并将其形式化为部分对称分解,从而实现对隐藏FFN方向的高效恢复。实验表明,仅需8193次查询即可在独立训练的CIFAR-10视觉Transformer模型中实现95.1%的GELU和91.9%的SiLU方向对齐,且恢复的结构支持高保真度的功能替代。这一研究揭示了平滑FFN的内部参数几何特性,为AI模型安全性和逆向工程提供了新的见解。


研究背景与动机

近年来,随着AI技术的快速发展,神经网络的安全性问题日益受到关注。尽管已有研究探讨了模型逆向工程的可能性,但针对平滑前馈神经网络(FFNs)的隐藏结构提取方法仍存在诸多挑战。本研究旨在提出一种基于曲率密码分析的新方法,以实现对FFNs隐藏结构的提取与功能替代。

方法与实验

研究团队提出了一种利用输入黑盒查询,通过二阶泄漏通道收集Hessian矩阵的方法,并将其形式化为部分对称分解。具体步骤如下:

  1. 选择输入查询:通过选择特定的输入查询,获取FFN的原始输出。
  2. 收集Hessian矩阵:利用二阶泄漏通道收集Hessian矩阵,并将其形式化为部分对称分解。
  3. 恢复隐藏方向:通过向量输出模板重用技术,显著降低结构查询成本。
  4. 功能替代:在恢复隐藏方向的基础上,仅拟合剩余的FFN参数,实现高保真度的功能替代。

实验结果表明,在独立训练的CIFAR-10视觉Transformer模型中,仅需16个投影Hessian矩阵(对应8193次查询)即可实现隐藏FFN方向的高效恢复,平均绝对余弦对齐度超过0.94。GELU和SiLU激活函数的方向对齐度分别达到95.1%和91.9%。此外,恢复的结构支持高保真度的功能替代,测试准确率与原始模型仅相差0.90%和0.62%。

技术亮点

  • 二阶泄漏通道利用:通过二阶泄漏通道收集Hessian矩阵,实现对隐藏结构的有效提取。
  • 部分对称分解:将Hessian矩阵形式化为部分对称分解,简化了恢复过程。
  • 向量输出模板重用:通过向量输出模板重用技术,显著降低了结构查询成本。
  • 高保真度功能替代:恢复的隐藏方向支持高保真度的功能替代,展示了该方法的实用性。

行业影响与开发者建议

这项研究为AI模型的安全性评估和逆向工程提供了新的技术路径,尤其在以下方面具有重要意义:

  • 模型安全评估:帮助开发者识别和修复模型中的潜在漏洞,提升AI系统的安全性。
  • 逆向工程研究:为AI模型的逆向工程研究提供了新的方法论支持,推动AI技术的进一步发展。
  • 开发者建议:建议开发者在设计AI模型时,考虑引入更多的安全机制,如对抗训练和模型压缩,以增强模型的鲁棒性。

消息来源:ArXiv Machine Learning (cs.LG) (2026-09-01)

—— 完 ——

主题标签: #AI安全 #模型逆向工程 #神经网络 #曲率密码分析 #AI模型

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…