EleutherAI发布Deep Ignorance：数据过滤为开放权重模型构建抗篡改安全机制

摘要：EleutherAI推出名为Deep Ignorance的新研究项目，通过对预训练数据进行过滤，为开放权重大语言模型（LLMs）构建抗篡改的安全机制。该方法旨在从源头上消除潜在风险知识，从而防止模型被利用进行危险行为。实验表明，这种方法在减少生物风险知识的同时，对模型整体性能影响较小，且难以通过微调等方式绕过，展示了其在AI安全领域的创新潜力。

---

核心突破

EleutherAI的研究团队推出了名为Deep Ignorance的项目，旨在通过预训练数据过滤为开放权重大语言模型（LLMs）构建抗篡改的安全机制。该方法的核心思想是，从源头上消除潜在风险知识，从而防止模型被利用进行危险行为。以下是主要技术亮点：

• 数据过滤方法：研究团队开发了一种多阶段过滤管道，包括一个基于关键词的阻止列表和一个基于机器学习（ML）的分类器。阻止列表包含约6000个与生物风险相关的独特术语，而分类器则使用ModernBERT-Large模型进行微调，以识别和排除包含潜在风险知识的数据。

• 实验结果：实验表明，最佳过滤设置可以将生物风险知识基准（WMDP-Bio）回归到接近随机水平，同时对无关知识的影响较小。例如，使用单阶段过滤对预训练数据（5000亿个token）和多阶段过滤对微调数据（500亿个token）进行干预，可以显著减少生物风险知识，而对MMLU等基准测试的影响较小。

• 抗篡改能力：为了测试过滤方法的抗篡改能力，研究团队将过滤后的模型在300亿个token的生物风险论文上进行微调。结果显示，过滤后的模型在生物风险知识基准上的表现仍然低于基线，表明该方法对微调攻击具有较强的抵抗力。

技术解析

Deep Ignorance的创新之处在于，它将数据过滤作为AI安全的第一道防线，而不是依赖传统的拒绝训练或输入过滤器。这种方法的优势在于：

1. 从源头消除风险：通过在预训练阶段过滤掉潜在风险知识，模型从根本上减少了被利用进行危险行为的可能性。

2. 抗篡改性：由于过滤是在模型训练之前完成的，攻击者难以通过微调等方式绕过安全机制。

3. 对性能影响小：实验表明，过滤对模型的整体性能影响较小，甚至在某些情况下可以提高模型在其他知识领域的表现。

行业影响与开发者建议

Deep Ignorance的发布为AI安全领域提供了新的思路和方法，对开放权重模型的安全性和可靠性具有重要意义。以下是一些建议：

• 开发者：在训练开放权重模型时，可以考虑采用类似的数据过滤方法，以提高模型的安全性和抗篡改能力。

• 研究人员：进一步探索数据过滤与其他安全机制（如对抗训练、模型蒸馏等）的结合，以构建更强大的AI安全框架。

• 政策制定者：关注AI安全技术的发展，制定相应的政策和标准，以促进AI技术的安全应用。

结论

Deep Ignorance展示了数据过滤在AI安全中的潜力，为开放权重模型的安全机制设计提供了新的方向。随着AI技术的不断发展，类似的安全措施将成为构建可信AI系统的关键组成部分。

---

消息来源：EleutherAI Blog (2025-08-12)

—— 完 ——

主题标签： #EleutherAI 关注 #AI安全 关注 #数据过滤 关注 #开放权重模型 关注 #抗篡改 关注