智客 ZICQ
EN 登录 / 注册
智客前沿 开源AI #EleutherAI #Safetensors #AI安全 #开源模型 #模型存储

EleutherAI发布Safetensors安全审计报告:推动AI模型存储格式标准化

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:EleutherAI联合Hugging Face和Stability AI,对Safetensors库进行了外部安全审计,结果显示该库在安全性方面表现优异,并计划将其作为默认的模型存储格式。审计由Trail of Bits执行,未发现关键安全漏洞,格式规范得到改进,并优化了测试套件。Safetensors采用Rust编写,提供了额外的安全保障,并支持高效加载和跨框架使用。EleutherAI计划在未来的GPT-NeoX和LM Evaluation Harness中支持该格式,并推动其成为AI生态系统中的标准格式。


背景与动机

Safetensors是由EleutherAI、Hugging Face和Stability AI共同开发的库,旨在解决传统PyTorch使用pickle进行模型保存时存在的安全问题。Pickle的固有漏洞可能允许恶意文件控制用户计算机,而Safetensors通过提供安全且高效的替代方案,解决了这一问题。

安全审计结果

此次审计由Trail of Bits执行,主要发现包括:

  • 无关键安全漏洞:未发现可能导致任意代码执行的严重安全漏洞。
  • 格式规范改进:修正了格式规范中的不精确之处,并解决了多语言文件(polyglot files)的问题。
  • 测试套件优化:提出了大量改进建议并已实施。

Safetensors采用Rust编写,进一步增强了安全性。尽管无法证明其完全无缺陷,但此次审计为Safetensors的安全性提供了重要保证。

未来计划

EleutherAI计划在以下方面推进Safetensors的应用:

  • 集成到transformers库中:Safetensors将成为transformers库的核心依赖,并计划在未来几个月内将其设为默认保存格式。
  • 支持LLM训练:正在开发更高级的功能,以支持大语言模型的训练需求。
  • 发布1.0版本:在获得足够用户反馈后,计划发布1.0版本。

Safetensors已经在多个AI项目中得到应用,包括Civitai、Stable Diffusion Web UI、dfdx和LLaMA.cpp等。

技术亮点

  • 安全性:采用Rust编写,避免了pickle的安全漏洞。
  • 高效性:支持懒加载,CPU加载速度比传统方法快约100倍。
  • 跨框架兼容性:可以在PyTorch和TensorFlow等不同框架中加载同一模型文件。

行业影响与开发者建议

Safetensors的推广将提升AI模型存储的安全性,并简化跨框架模型的使用流程。开发者可以开始尝试使用Safetensors进行模型保存和加载,以利用其高效性和安全性优势。EleutherAI的推动将加速Safetensors在AI生态系统中的普及,为AI模型的存储和传输提供更可靠的标准。


消息来源:EleutherAI Blog (2023-05-23)

—— 完 ——

主题标签: #EleutherAI #Safetensors #AI安全 #开源模型 #模型存储

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…