arXiv发布SAGE框架:提升多实体视觉检索效率的新方法
文 / Mr.Xu 社区投稿
发布时间: · 8 次阅读
摘要:arXiv近日发布了一种名为SAGE的新框架,用于解决多实体视觉检索中的语义稀释问题。SAGE通过解析密集文档图像中的语义实体,并将其表示为多向量嵌入的层次图节点,从而实现高效查询相关证据的检索。该框架在DEAR数据集上的实验表明,SAGE显著降低了语义稀释问题,并在多实体视觉比较查询中取得了0.849的Recall@3和2.746的生成分数,显著优于现有的基于补丁和OCR的检索方法。
介绍
在处理包含大量细粒度视觉和文本实体的密集文档图像时,标准视觉语言检索器通常将裁剪的区域编码为单一向量,这可能导致不同实体的信号混合,从而模糊了细粒度检索所需的证据。这种现象被称为语义稀释(Semantic Dilution),并且随着实体密度的增加,其对实体级检索的负面影响愈发明显。
SAGE框架
为了应对这一问题,arXiv发布了SAGE框架。SAGE是一种无需训练的方法,通过以下步骤实现高效的多实体视觉检索:
- 语义实体解析:从密集文档图像中解析出语义实体。
- 层次图节点表示:将这些实体表示为具有多向量嵌入的层次图节点。
- 迭代实体级子图匹配:通过迭代实体级子图匹配检索查询相关的证据。
DEAR数据集与实验结果
SAGE框架在DEAR数据集上进行了测试,该数据集包含1,055个查询-图像对,涵盖四种复杂程度递增的问题类型。实验结果表明,SAGE在多实体视觉比较查询中表现出色:
- Recall@3:0.849
- 生成分数:2.746
这些结果显著优于基于补丁和OCR的检索基线方法,验证了SAGE在减少语义稀释和提高检索效率方面的有效性。
技术亮点
- 无训练框架:SAGE无需训练即可实现高效的多实体视觉检索。
- 层次图节点表示:通过多向量嵌入的层次图节点表示实体,保留了细粒度信息。
- 迭代子图匹配:通过迭代实体级子图匹配实现查询相关证据的检索。
行业影响与开发者建议
SAGE框架为多实体视觉检索领域提供了新的技术路径,尤其适用于需要处理密集文档图像的应用场景,如产品详情页检索、文档数字化和智能文档处理等。开发者可以参考SAGE的设计思路,将其应用于其他需要细粒度实体检索的任务中。此外,SAGE的开源代码(https://github.com/All4Nothing/SAGE)也为研究人员和开发者提供了实用的工具和参考。
—— 完 ——消息来源:ArXiv cs.IR (2026-09-07)
主题标签: #多实体检索 #视觉语言模型 #语义解析 #arXiv #SAGE
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区