LlamaIndex与Nomic Embed合作发布开源RAG检索器

摘要：LlamaIndex与Nomic Embed合作推出了一款完全开源的RAG（检索增强生成）检索器，旨在构建可审计的AI系统以提升安全性。该开源检索器基于Nomic Embed的嵌入模型，该模型在短文本和长文本基准测试中均超越了OpenAI Ada的性能。通过开源方式，用户可以完全访问训练过程并根据需求进行修改，从而避免供应商锁定问题并增强系统的透明性和可定制性。

---

背景与动机

近年来，检索增强生成（RAG）技术显著提升了语言模型的性能，使其能够减少幻觉、提高响应质量，并保持对世界最新知识的更新。RAG系统通过为语言模型配备检索器和数据库，在推理时从数据库中选择相关文档并将其传递给模型上下文窗口，从而实现这一目标。

然而，目前大多数RAG系统使用的闭源嵌入模型存在训练协议不透明、无法审计的问题。随着AI在国防、医疗和金融等高影响力领域的应用日益广泛，系统的可审计性成为安全AI部署的关键组成部分。此外，对闭源嵌入模型的依赖可能导致供应商锁定，限制企业根据自身需求修改模型的能力。

技术亮点

1. 完全开源：Nomic Embed是首个在短文本和长文本基准测试中均超越OpenAI Ada性能的完全开源嵌入模型。用户可以完全访问其训练过程，并根据需求进行修改。
2. 高性能：Nomic Embed在多个基准测试中表现出色，提供了强大的嵌入能力，为RAG系统提供了坚实的基础。
3. 可审计性：开源特性使得用户可以审计模型的训练过程，确保AI系统的透明性和安全性。

实现步骤

1. 导入相关库：使用LlamaIndex和Nomic Embed的Python库。
2. 下载数据：例如，使用Paul Graham的文章作为示例数据。
3. 生成向量：利用LlamaIndex的SimpleDirectoryReader和Nomic的托管推理服务，将文档转换为向量表示。
4. 构建索引：使用VectorStoreIndex从文档生成索引。
5. 创建检索器：通过设置task_type为search_query，生成针对查询的检索器。

行业影响

• 安全性提升：开源RAG检索器使得AI系统更加透明和安全，适用于对安全性要求较高的领域，如国防和医疗。
• 避免供应商锁定：用户可以自由修改和定制模型，避免对单一供应商的依赖。
• 推动AI创新：开源特性促进了AI技术的共享和协作，加速了AI技术的进步。

开发者建议

• 尝试开源工具：建议开发者尝试使用LlamaIndex和Nomic Embed构建自己的RAG系统，以体验开源工具的优势。
• 关注模型更新：定期关注Nomic Embed的更新，以获取最新的模型改进和功能增强。
• 参与社区讨论：加入LlamaIndex和Nomic Embed的社区，与其他开发者交流经验和最佳实践。

---

消息来源：LlamaIndex Blog (2026-09-13)

—— 完 ——

主题标签： #LlamaIndex #Nomic Embed #开源模型 #RAG系统 #AI安全