Hugging Face发布TempCloze:视频大语言模型视觉时间推理新基准
摘要:Hugging Face推出TempCloze基准,旨在解决视频大语言模型(Video-LLMs)在视觉时间推理中的语言捷径问题。该基准通过提供视频的开头和结尾片段,要求模型从四个候选片段中识别正确的中间部分,从而减少语言提示带来的偏差。TempCloze包含1521个经过精心筛选的视频,主要来自长镜头和第一人称视角来源,并设计了语义、时间和进展三个维度的干扰项以降低视觉线索的影响。评估显示,现有模型在时间对齐方面存在显著瓶颈,TempCloze为改进视觉时间推理能力提供了新的研究方向。
背景与动机
在视频大语言模型(Video-LLMs)的评估中,现有的时间推理基准通常依赖于语言提示,这导致模型可能通过语言捷径(如选项措辞、答案相关性或语言先验)来完成任务,而非真正理解视觉时间关系。为了减少这种偏差,Hugging Face推出了TempCloze基准。
TempCloze的设计与特点
- 基准结构:TempCloze要求模型根据视频的开头和结尾片段,从四个候选片段中识别出正确的中间部分。
- 数据来源与筛选:该基准包含1521个视频,主要来自长镜头和第一人称视角来源,经过严格筛选以确保质量。
- 干扰项设计:干扰项沿着语义、时间和进展三个维度构建,以减少视觉线索的影响。例如,语义干扰项关注事件应如何发生,时间干扰项关注事件应何时发生,而进展干扰项关注事件应如何展开。
主要发现与挑战
- 时间对齐瓶颈:评估显示,现有模型在识别语义内容和局部事件进展方面表现良好,但在时间对齐方面存在显著瓶颈。
- 行为模式分析:通过在TempCloze-Mixed和TempCloze-Hard上进行错误模式和行为敏感性分析,研究发现候选顺序、上下文方向、可见跨度、帧密度和测试时缩放等因素均会影响模型的选择。
行业影响与未来方向
TempCloze为视频大语言模型的时间推理能力提供了一个更严格的评估平台,推动了视觉时间推理领域的研究进展。开发者可以利用该基准来识别模型弱点,并开发更强大的时间推理算法。此外,TempCloze的发布也为AI社区提供了一个新的研究方向,即如何在减少语言捷径影响的情况下,提升模型对视觉时间关系的理解能力。
开发者建议
- 模型评估:使用TempCloze对现有模型进行评估,以识别其在时间推理方面的不足。
- 算法改进:针对时间对齐问题,开发新的算法和模型架构,以提升视觉时间推理能力。
- 数据扩展:扩展TempCloze的数据集规模,并引入更多样化的视频来源,以增强基准的泛化能力。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-01)
主题标签: #Hugging Face #视频大语言模型 #时间推理 #基准测试 #视觉推理
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区