Hugging Face发布NeoMME:高效多模态多语言基础编码器
摘要:Hugging Face推出了NeoMME,这是一系列高效的多模态多语言基础编码器,旨在解决传统视觉语言模型在非生成任务中的参数和计算开销问题。NeoMME通过单一流Transformer编码器处理多语言文本和原始图像块,支持高达16384个token的上下文长度,并提供260M和800M两种参数规模的版本。在ViDoRe v3基准测试中,NeoMME-Retriever 260M和800M分别取得了0.523和0.556的nDCG@10分数,展示了其在多模态检索任务中的强大性能。此外,NeoMME采用的分层标记池化和非对称量化技术,将多模态文档嵌入压缩了255倍,同时保留了95%以上的基线性能。
核心突破
Hugging Face最新发布的NeoMME系列模型在多模态多语言处理领域实现了重要突破,主要特点包括:
- 单一流架构:NeoMME采用单一流Transformer编码器,同时处理多语言文本和原始图像块,避免了传统视觉语言模型中视觉编码器和语言模型分离带来的参数和计算开销。
- 高效预训练:模型从头开始预训练,使用掩码离散扩散文本目标,并针对多模态示例进行条件化处理,支持高达16384个token的上下文长度。
- 多模态检索性能:在ViDoRe v3基准测试中,NeoMME-Retriever 260M和800M分别取得了0.523和0.556的nDCG@10分数,超越了所有参数量低于800M的评估模型。
- 压缩技术:通过分层标记池化和非对称量化技术,NeoMME将多模态文档嵌入压缩了255倍,同时保留了95%以上的基线nDCG@10性能。
技术亮点
- 多模态处理能力:NeoMME能够高效处理多语言文本和图像数据,适用于需要跨模态理解的任务,如视觉问答、图像检索等。
- 高吞吐量:在NVIDIA L40S上,NeoMME-260M的页面编码吞吐量约为ColModernVBERT的2倍,展示了其在资源受限环境下的高效性。
- 开源贡献:NeoMME已贡献给Hugging Face Transformers,并发布了预训练的骨干模型和检索兼容的检查点,遵循Apache 2.0许可,为开发者提供了易于使用的工具。
行业影响
NeoMME的发布标志着多模态AI模型在效率和性能上的进一步提升,为需要处理多语言和多模态数据的应用场景提供了强大的工具。其开源特性将促进研究人员和开发者在多模态AI领域的创新,推动相关技术的快速发展。
开发者建议
- 模型选择:对于需要高效多模态处理的应用场景,建议优先考虑NeoMME-Retriever 260M版本,以在性能和资源消耗之间取得平衡。
- 技术整合:开发者可以利用NeoMME的检索能力,结合其他多模态技术,构建更复杂的AI系统,如智能助手、图像检索引擎等。
- 持续关注:建议持续关注Hugging Face对NeoMME的更新和优化,以获取最新的功能和改进。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-08-31)
主题标签: #Hugging Face #多模态模型 #多语言处理 #高效编码器 #开源AI
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区