HKUST-KnowComp发布PACE框架:革新长视频问答中的证据获取技术
摘要:HKUST-KnowComp团队提出了一种名为PACE(渐进式关键证据获取)的新框架,旨在解决长视频问答中证据稀疏和区分性不足的问题。PACE通过两阶段处理:首先基于问题引导的因子对剪辑级描述进行索引,不观察候选答案;然后利用候选答案生成对比性线索,并查询索引进行验证。在MMR-V数据集上,PACE实现了42.6%的准确率,超越了直接推理和现有的智能体基线方法(如Deep Video Discovery)。此外,PACE在多个基准测试中均表现出色,展示了其在跨领域长视频问答任务中的潜力。
背景与挑战
长视频问答(Long-Video Question Answering)一直是AI领域中的难题之一。尽管语言模型视觉理解能力不断提升,但长视频中的相关证据往往稀疏且难以区分正确答案与合理替代项。传统方法在处理这一问题时存在瓶颈,主要体现在对区分性证据的获取能力不足。
PACE框架的提出
为了解决上述问题,HKUST-KnowComp团队提出了PACE(渐进式关键证据获取)框架。PACE通过以下两个阶段处理长视频中的证据获取问题:
- 问题引导的索引阶段:在这一阶段,PACE基于问题生成的因子对剪辑级描述进行索引,而无需观察候选答案。这一步骤旨在初步筛选与问题相关的证据。
- 候选答案验证阶段:利用候选答案生成对比性线索,并查询索引以进行验证。这一步骤确保了所获取的证据具有区分性,能够有效区分正确答案与替代项。
实验与结果
在MMR-V数据集上,PACE框架在开源的Qwen3-VL骨干模型上实现了42.6%的准确率,显著超越了直接推理方法和现有的智能体基线方法,如Deep Video Discovery(DVD)。此外,PACE在诊断子集上恢复了66.9%的标注线索,证明了其性能提升主要源于证据获取能力的增强,而非单纯的答案端先验增强。
在LVBench、Video-MME、EgoSchema和LongVideoBench等基准测试中,PACE均表现出色,展示了其在跨领域长视频问答任务中的通用性和潜力。
技术亮点
- 两阶段处理机制:通过问题引导的索引和候选答案验证,PACE实现了更精准的证据获取。
- 对比性线索生成:利用候选答案生成对比性线索,增强了证据的区分性。
- 开源实现:PACE框架的代码已在GitHub上公开(https://github.com/HKUST-KnowComp/PACE),便于研究人员和开发者进行复现和扩展。
行业影响与开发者建议
PACE框架的发布为长视频问答领域提供了新的技术路径,尤其在处理复杂、多模态数据时表现出色。对于开发者而言,以下几点值得注意:
- 模型微调:建议在特定领域数据上进行微调,以进一步提升PACE在特定任务中的性能。
- 多模态数据融合:结合其他模态数据(如音频、文本)进行融合处理,可以进一步增强证据获取的全面性。
- 实时应用:PACE框架的效率使其在实时长视频问答应用中具有潜力,但需优化推理速度以满足实时性要求。
—— 完 ——消息来源:ArXiv cs.LG (2026-08-26)
主题标签: #长视频问答 #证据获取 #HKUST-KnowComp #PACE #Qwen3-VL
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区