智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #CapMem #自我中心视频 #字幕记忆 #视觉-语言模型 #基准测试

CapMem:基于字幕的自我中心视频场景记忆基准测试发布

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项关于自我中心视频场景记忆的新研究,提出了CapMem基准测试。该研究旨在解决现有视觉-语言模型在处理长视频时的局限性,通过引入基于文本字幕的存储机制,提升长视频场景推理的效率与准确性。CapMem包含75个总时长33.7小时的高质量视频和1000个多选题,涵盖16种场景。实验结果表明,基于30秒和60秒字幕窗口的CaptionQA方法在长视频上的表现优于直接视频问答模型,验证了字幕记忆在长视频场景推理中的有效性。


研究背景与动机

自我中心视频(Egocentric Video)处理是智能穿戴设备的重要应用场景,但现有视觉-语言模型面临帧预算有限、视觉标记成本增加以及长距离上下文检索失败等问题。为解决这些问题,研究团队提出了基于文本字幕的存储机制,并设计了CapMem基准测试。

CapMem基准测试

CapMem包含75个总时长33.7小时的高质量视频,涵盖16种场景,并设计了1000个多选题。这些视频经过人工标注,确保了数据的准确性和多样性。

实验与结果

研究团队对12种模型进行了测试,结果表明,基于30秒和60秒字幕窗口的CaptionQA方法在长视频上的表现优于直接视频问答模型。具体来说,在相同视频子集上,字幕引导的检索和验证方法进一步将准确性提高了5.3个百分点。

技术亮点

  1. 字幕记忆机制:通过引入文本字幕作为可重复使用的场景记忆,提升了长视频处理的效率。
  2. 多场景覆盖:CapMem涵盖了16种场景,确保了基准测试的广泛适用性。
  3. 多模型验证:对12种模型进行了测试,验证了字幕记忆机制的有效性。

行业影响与开发者建议

CapMem为自我中心视频处理领域提供了一个新的基准测试平台,有助于推动相关技术的进一步发展。开发者可以利用CapMem来评估和改进自己的模型,特别是在长视频处理和场景推理方面。此外,该研究也为AI系统在资源受限环境下的应用提供了新的思路。

未来研究方向

未来研究可以进一步探索不同类型的记忆机制(如视觉记忆、音频记忆等)以及多模态融合方法,以提升AI系统在复杂场景下的表现。


消息来源:ArXiv AI (cs.AI) (2026-09-17)

—— 完 ——

主题标签: #CapMem #自我中心视频 #字幕记忆 #视觉-语言模型 #基准测试

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…