智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #长视频问答 #证据获取 #HKUST-KnowComp #PACE #Qwen3-VL

HKUST-KnowComp发布PACE框架:革新长视频问答中的证据获取技术

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 1 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:HKUST-KnowComp团队提出了一种名为PACE(渐进式关键证据获取)的新框架,旨在解决长视频问答中证据稀疏和区分性不足的问题。PACE通过两阶段处理:首先基于问题引导的因子对剪辑级描述进行索引,不观察候选答案;然后利用候选答案生成对比性线索,并查询索引进行验证。在MMR-V数据集上,PACE实现了42.6%的准确率,超越了直接推理和现有的智能体基线方法(如Deep Video Discovery)。此外,PACE在多个基准测试中均表现出色,展示了其在跨领域长视频问答任务中的潜力。


背景与挑战

长视频问答(Long-Video Question Answering)一直是AI领域中的难题之一。尽管语言模型视觉理解能力不断提升,但长视频中的相关证据往往稀疏且难以区分正确答案与合理替代项。传统方法在处理这一问题时存在瓶颈,主要体现在对区分性证据的获取能力不足。

PACE框架的提出

为了解决上述问题,HKUST-KnowComp团队提出了PACE(渐进式关键证据获取)框架。PACE通过以下两个阶段处理长视频中的证据获取问题:

  1. 问题引导的索引阶段:在这一阶段,PACE基于问题生成的因子对剪辑级描述进行索引,而无需观察候选答案。这一步骤旨在初步筛选与问题相关的证据。
  2. 候选答案验证阶段:利用候选答案生成对比性线索,并查询索引以进行验证。这一步骤确保了所获取的证据具有区分性,能够有效区分正确答案与替代项。

实验与结果

在MMR-V数据集上,PACE框架在开源的Qwen3-VL骨干模型上实现了42.6%的准确率,显著超越了直接推理方法和现有的智能体基线方法,如Deep Video Discovery(DVD)。此外,PACE在诊断子集上恢复了66.9%的标注线索,证明了其性能提升主要源于证据获取能力的增强,而非单纯的答案端先验增强。

在LVBench、Video-MME、EgoSchema和LongVideoBench等基准测试中,PACE均表现出色,展示了其在跨领域长视频问答任务中的通用性和潜力。

技术亮点

  • 两阶段处理机制:通过问题引导的索引和候选答案验证,PACE实现了更精准的证据获取。
  • 对比性线索生成:利用候选答案生成对比性线索,增强了证据的区分性。
  • 开源实现:PACE框架的代码已在GitHub上公开(https://github.com/HKUST-KnowComp/PACE),便于研究人员和开发者进行复现和扩展。

行业影响与开发者建议

PACE框架的发布为长视频问答领域提供了新的技术路径,尤其在处理复杂、多模态数据时表现出色。对于开发者而言,以下几点值得注意:

  • 模型微调:建议在特定领域数据上进行微调,以进一步提升PACE在特定任务中的性能。
  • 多模态数据融合:结合其他模态数据(如音频、文本)进行融合处理,可以进一步增强证据获取的全面性。
  • 实时应用:PACE框架的效率使其在实时长视频问答应用中具有潜力,但需优化推理速度以满足实时性要求。

消息来源:ArXiv cs.LG (2026-08-26)

—— 完 ——

主题标签: #长视频问答 #证据获取 #HKUST-KnowComp #PACE #Qwen3-VL

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…