智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #多实体检索 #视觉语言模型 #语义解析 #arXiv #SAGE

arXiv发布SAGE框架:提升多实体视觉检索效率的新方法

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv近日发布了一种名为SAGE的新框架,用于解决多实体视觉检索中的语义稀释问题。SAGE通过解析密集文档图像中的语义实体,并将其表示为多向量嵌入的层次图节点,从而实现高效查询相关证据的检索。该框架在DEAR数据集上的实验表明,SAGE显著降低了语义稀释问题,并在多实体视觉比较查询中取得了0.849的Recall@3和2.746的生成分数,显著优于现有的基于补丁和OCR的检索方法。


介绍

在处理包含大量细粒度视觉和文本实体的密集文档图像时,标准视觉语言检索器通常将裁剪的区域编码为单一向量,这可能导致不同实体的信号混合,从而模糊了细粒度检索所需的证据。这种现象被称为语义稀释(Semantic Dilution),并且随着实体密度的增加,其对实体级检索的负面影响愈发明显。

SAGE框架

为了应对这一问题,arXiv发布了SAGE框架。SAGE是一种无需训练的方法,通过以下步骤实现高效的多实体视觉检索:

  1. 语义实体解析:从密集文档图像中解析出语义实体。
  2. 层次图节点表示:将这些实体表示为具有多向量嵌入的层次图节点。
  3. 迭代实体级子图匹配:通过迭代实体级子图匹配检索查询相关的证据。

DEAR数据集与实验结果

SAGE框架在DEAR数据集上进行了测试,该数据集包含1,055个查询-图像对,涵盖四种复杂程度递增的问题类型。实验结果表明,SAGE在多实体视觉比较查询中表现出色:

  • Recall@3:0.849
  • 生成分数:2.746

这些结果显著优于基于补丁和OCR的检索基线方法,验证了SAGE在减少语义稀释和提高检索效率方面的有效性。

技术亮点

  • 无训练框架:SAGE无需训练即可实现高效的多实体视觉检索。
  • 层次图节点表示:通过多向量嵌入的层次图节点表示实体,保留了细粒度信息。
  • 迭代子图匹配:通过迭代实体级子图匹配实现查询相关证据的检索。

行业影响与开发者建议

SAGE框架为多实体视觉检索领域提供了新的技术路径,尤其适用于需要处理密集文档图像的应用场景,如产品详情页检索、文档数字化和智能文档处理等。开发者可以参考SAGE的设计思路,将其应用于其他需要细粒度实体检索的任务中。此外,SAGE的开源代码(https://github.com/All4Nothing/SAGE)也为研究人员和开发者提供了实用的工具和参考。


消息来源:ArXiv cs.IR (2026-09-07)

—— 完 ——

主题标签: #多实体检索 #视觉语言模型 #语义解析 #arXiv #SAGE

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…