Hugging Face发布Last Secure Code Benchmark：评估AI编程智能体的代码安全性

摘要：Hugging Face推出Last Secure Code Benchmark，用于全面评估AI编程智能体生成代码的安全性。该基准测试基于150个真实漏洞，包含450个任务，涵盖Java、C、C++、JavaScript、Python、PHP和Go七种主流编程语言，以及24种常见弱点枚举（CWE），其中包括2025年CWE Top 25中的21种和8种关键环境弱点（KEV）。测试结果表明，尽管AI智能体在功能实现上表现良好（73.6%至91.3%的任务通过），但在代码安全性方面表现不佳，最强的Claude Fable 5智能体也仅在25.1%的任务中生成既功能完备又安全的代码。

---

背景与动机

随着AI编程智能体在软件开发中的普及，代码生成的质量和安全性成为关键问题。尽管AI智能体在功能实现上表现出色，但它们生成代码的安全性尚未得到充分评估。Hugging Face推出的Last Secure Code Benchmark旨在填补这一空白，通过系统化的测试框架评估AI智能体生成代码的安全性。

技术机制剖析

Last Secure Code Benchmark基于以下核心设计：

1. 漏洞来源与任务设计：

   • 基准测试包含150个真实漏洞，涵盖7种主流编程语言（Java、C、C++、JavaScript、Python、PHP和Go）。
   • 任务设计分为三种场景：函数填充、文件编写和从头构建代码库。
   • 每个任务仅要求实现功能，不提及安全性，通过隐藏的功能和安全测试来评估结果。

2. 弱点覆盖范围：

   • 涵盖24种常见弱点枚举（CWE），包括2025年CWE Top 25中的21种和8种关键环境弱点（KEV）。
   • 这种广泛的覆盖范围确保了测试的全面性和代表性。

3. 评估指标：

   • 功能性通过率：73.6%至91.3%的任务通过。
   • 安全性通过率：即使是最强的Claude Fable 5智能体，也仅在25.1%的任务中生成既功能完备又安全的代码。

工程权衡与实测表现

• 优势：

  • 提供了系统化的评估框架，涵盖了多种编程语言和弱点类型。
  • 揭示了AI智能体在代码安全性方面的不足，为后续改进提供了方向。

• 挑战：

  • AI智能体在处理复杂漏洞时表现不佳，表明其在安全编码方面的能力仍需大幅提升。
  • 基准测试的复杂性可能对某些智能体造成过大的计算负担。

开发者落地与部署建议

1. 安全编码实践：

   • 开发者在使用AI编程智能体时，应结合传统安全编码实践进行代码审查。

2. 智能体改进方向：

   • 建议AI模型开发者将安全性作为训练目标之一，引入更多安全编码知识进行训练。

3. 持续评估与反馈：

   • 定期使用类似基准测试对智能体进行评估，并根据结果进行迭代改进。

结论

Last Secure Code Benchmark的发布为AI编程智能体的安全性评估提供了重要工具，揭示了当前AI智能体在代码安全性方面的不足，并为未来的改进方向提供了指导。

---

消息来源：Hugging Face Daily Papers (2026-10-10)

—— 完 ——

主题标签： #Hugging Face 关注 #AI编程智能体 关注 #代码安全 关注 #基准测试 关注