CapMem:基于字幕的自我中心视频场景记忆基准测试发布
摘要:arXiv发布了一项关于自我中心视频场景记忆的新研究,提出了CapMem基准测试。该研究旨在解决现有视觉-语言模型在处理长视频时的局限性,通过引入基于文本字幕的存储机制,提升长视频场景推理的效率与准确性。CapMem包含75个总时长33.7小时的高质量视频和1000个多选题,涵盖16种场景。实验结果表明,基于30秒和60秒字幕窗口的CaptionQA方法在长视频上的表现优于直接视频问答模型,验证了字幕记忆在长视频场景推理中的有效性。
研究背景与动机
自我中心视频(Egocentric Video)处理是智能穿戴设备的重要应用场景,但现有视觉-语言模型面临帧预算有限、视觉标记成本增加以及长距离上下文检索失败等问题。为解决这些问题,研究团队提出了基于文本字幕的存储机制,并设计了CapMem基准测试。
CapMem基准测试
CapMem包含75个总时长33.7小时的高质量视频,涵盖16种场景,并设计了1000个多选题。这些视频经过人工标注,确保了数据的准确性和多样性。
实验与结果
研究团队对12种模型进行了测试,结果表明,基于30秒和60秒字幕窗口的CaptionQA方法在长视频上的表现优于直接视频问答模型。具体来说,在相同视频子集上,字幕引导的检索和验证方法进一步将准确性提高了5.3个百分点。
技术亮点
- 字幕记忆机制:通过引入文本字幕作为可重复使用的场景记忆,提升了长视频处理的效率。
- 多场景覆盖:CapMem涵盖了16种场景,确保了基准测试的广泛适用性。
- 多模型验证:对12种模型进行了测试,验证了字幕记忆机制的有效性。
行业影响与开发者建议
CapMem为自我中心视频处理领域提供了一个新的基准测试平台,有助于推动相关技术的进一步发展。开发者可以利用CapMem来评估和改进自己的模型,特别是在长视频处理和场景推理方面。此外,该研究也为AI系统在资源受限环境下的应用提供了新的思路。
未来研究方向
未来研究可以进一步探索不同类型的记忆机制(如视觉记忆、音频记忆等)以及多模态融合方法,以提升AI系统在复杂场景下的表现。
—— 完 ——消息来源:ArXiv AI (cs.AI) (2026-09-17)
主题标签: #CapMem #自我中心视频 #字幕记忆 #视觉-语言模型 #基准测试
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区