VisSearch-Bench评测多模态智能体长程视觉搜索，最佳完整成功率仅26.47%

摘要：VisSearch-Bench 提出面向多模态智能体的长程视觉搜索评测集，包含204个人工任务、7个领域和25个子领域，覆盖集合搜索、顺序搜索、宽深混合搜索、竞争性视觉消歧及视觉结构引导搜索。每项任务提供参考答案、可追溯证据与评分规则，并分别考察最终答案完整性和中间结果、子问题的正确性与完整性。16个多模态模型中，即使接入搜索工具，最佳系统的完整任务成功率也只有26.47%，说明瓶颈不在单一视觉识别，而在跨图像、对象和搜索步骤维护并关联视觉上下文。

---

核心发现

VisSearch-Bench 将多模态智能体评测从“识别图片中的实体，再进行普通文本检索”推进到真正的长程视觉搜索。模型不仅要判断对象外观、局部细节和空间关系，还要把这些视觉证据与后续网页、图像工具返回的信息建立可核验的关联，最终形成完整答案。

该基准包含 204 个由人编写和验证的任务，覆盖 7 个主要领域、25 个子领域，任务类型包括：

• Set-wise Visual Search：从一组候选对象中完成集合级识别或匹配；
• Sequential Visual Search：按照视觉线索逐步推进多个搜索步骤；
• Hybrid Wide-Deep Search：先扩大候选范围，再深入检索局部或细粒度证据；
• Competitive Visual Disambiguation：在多个视觉候选具有相似特征时完成消歧；
• Visual-Structure-Guided Search：依据图中结构、布局或关系引导检索。

在 16 个多模态模型的测试中，即使配置搜索工具，最佳系统也只完整解决 26.47% 的任务。这一结果说明，模型在局部图像识别、单轮问答或文本检索上的高分，不能直接转化为长程视觉搜索能力。

两种评分指标分别测什么

VisSearch-Bench 同时设置 Accuracy 与 Process Score。

Accuracy 采用严格的全任务成功标准：只有最终答案及任务要求均正确，才算完整解决。这种指标贴近实际部署，因为用户需要的是可用的最终结果，而不是若干看似相关的搜索片段。

Process Score 则检查中间结果、各个检索结果以及子问题答案的正确性和完整性。其工程意义是定位失败位置：如果某个智能体能识别关键对象，却无法保持证据链、遗漏子问题或错误合并不同来源，过程指标可以揭示这些故障模式，而不必等到最终答案失败后才进行归因。

不过，这套评分仍依赖参考答案、证据链和人工制定规则的覆盖质量。204 个任务足以揭示问题模式，但不足以代表开放网络中的全部视觉实体分布、网页噪声和搜索路径。

技术机制：视觉上下文管理才是核心难题

传统多模态 RAG 往往采用以下链路：

1. 使用视觉编码器提取图像特征；
2. 将图片或识别出的实体转换为文本查询；
3. 调用搜索工具检索网页；
4. 把检索结果交给语言模型生成答案。

这类流程容易在第二步发生“语义坍缩”：局部视觉线索被压缩为实体名称后，外观差异、对象关系和原始图像证据可能丢失。对于 VisSearch-Bench 所覆盖的任务，实体名称相同并不意味着视觉候选相同；候选对象之间的细微差别也不能仅靠文字描述充分恢复。

一个更合理的智能体架构需要维护多层状态：

• 视觉状态：对象身份、区域、颜色、纹理、局部特征和空间关系；
• 证据状态：每条结论对应的来源页面、图像区域或检索片段；
• 任务状态：已经回答和尚未回答的子问题；
• 消歧状态：当前对象与候选集合之间的约束及排除理由。

搜索计划也不应仅依赖文本相似度，而应根据视觉约束动态生成。例如，先通过图像完成粗粒度候选集合构建，再针对局部细节调用更细粒度的视觉搜索；或者在多个候选实体之间维护并列假设，直到外部证据足以排除错误项。

为什么接入搜索工具仍然失败

工具调用增加了可用信息，却没有自动解决证据整合问题。典型失败包括：

1. 过早收敛：模型找到一个文本匹配实体后立即停止搜索，没有检查视觉候选是否一致；
2. 视觉证据丢失：检索结果只保留文字摘要，原图中的对象与空间关系未被继续引用；
3. 子问题遗漏：模型找到主实体，却未完成任务要求的次级判断；
4. 来源污染：网页中的同名对象、相似图片或转载内容被错误合并；
5. 轨迹失控：长链搜索产生大量中间结果后，早期关键约束被后续信息挤出上下文。

这也是 Process Score 与最终 Accuracy 同时存在的原因：严格成功率暴露端到端短板，过程评分则帮助研发人员区分视觉识别、检索规划、上下文维护和答案整合究竟是哪一环失效。

评测对象与基准客观性

26.47% 是论文报告的最佳完整任务成功率，但这一数字不能直接视为所有多模态智能体的统一上限。实际排名仍可能受多项因素影响：模型是否获得图像输入工具、搜索工具的具体实现、上下文窗口长度、任务级提示词、采样参数、联网覆盖范围，以及不同模型的多模态编码质量。

如果某些系统只能使用文本搜索，而另一些系统能够调用图像裁剪、放大、反向图片搜索或网页浏览，那么结果同时测量了模型能力和工具权限差异。要判断基准是否真正衡量视觉上下文管理，应进一步按工具配置分层报告结果，并单独比较以下基线：

• 只使用模型内部知识；
• 视觉识别后接文本搜索；
• 具备网页搜索但无视觉搜索工具；
• 同时具备网页与图像工具；
• 人工或专用程序化视觉搜索流程。

如果完整工具配置与纯文本检索差距很小，说明瓶颈可能在答案整合；如果视觉工具带来显著增益，则表明任务确实涉及不可由文本检索替代的视觉证据。

工程权衡：更长轨迹不等于更强推理

长程视觉搜索存在明显的成本权衡。搜索轮数增加会扩大找到正确证据的机会，但也会增加网页抓取、图像编码、工具调用延迟和上下文存储成本。串行搜索步骤还会造成关键路径延迟：每一步都依赖上一步结果，任何一次误判都可能让后续轨迹完全偏离。

工程实现可采用分层检索来降低无效开销：先用低成本的图像嵌入和元数据过滤候选集合，再对少量高不确定候选执行放大、裁剪和细粒度视觉核验。对于可并行获取的候选关系，应并行检索而非逐项等待；但并行分支也会扩大上下文和证据去重负担，需要通过统一对象标识、来源去重和证据图结构压缩状态。

此外，扩大上下文窗口不能替代状态管理。将全部截图、网页和中间推理直接塞入提示词，会造成视觉 token 与文本 token 的预算竞争，也可能让早期关键约束在长上下文中被稀释。更可行的做法是保存紧凑的结构化状态，只在需要时重新调取原始图像或页面片段。

开发者落地建议

1. 采用双轨检索：同时维护文本查询与视觉约束，避免用实体名替代图像证据。
2. 显式拆分状态：分别维护候选对象、视觉属性、已确认事实、待答子问题和来源映射。
3. 设置消歧门控：在对象身份未唯一确定前，不允许直接生成确定性最终答案。
4. 保留证据指针：每个视觉判断绑定图像区域或页面来源，而不是只保留自然语言摘要。
5. 按阶段记录轨迹：区分候选生成、视觉核验、外部检索、冲突处理和最终整合，以定位失败来源。
6. 同时报告指标：除完整成功率外，还应公布 Process Score、子问题完成率、工具调用次数、延迟与成本。

VisSearch-Bench 的主要价值，是把多模态智能体评估的关键问题从“能不能看懂一张图”推进到“能否持续管理并连接视觉证据”。最佳系统仅完成 26.47% 的任务，说明构建可维护、可追溯、可消歧的视觉搜索状态机，仍是智能体工程中尚未解决的核心环节。

---

消息来源：Hugging Face Daily Papers (2026-11-03)

—— 完 ——

主题标签： #多模态智能体 关注 #视觉搜索 关注 #长程推理 关注 #智能体评测 关注