智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #Hugging Face #视频大语言模型 #时间推理 #基准测试 #视觉推理

Hugging Face发布TempCloze:视频大语言模型视觉时间推理新基准

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face推出TempCloze基准,旨在解决视频大语言模型(Video-LLMs)在视觉时间推理中的语言捷径问题。该基准通过提供视频的开头和结尾片段,要求模型从四个候选片段中识别正确的中间部分,从而减少语言提示带来的偏差。TempCloze包含1521个经过精心筛选的视频,主要来自长镜头和第一人称视角来源,并设计了语义、时间和进展三个维度的干扰项以降低视觉线索的影响。评估显示,现有模型在时间对齐方面存在显著瓶颈,TempCloze为改进视觉时间推理能力提供了新的研究方向。


背景与动机

在视频大语言模型(Video-LLMs)的评估中,现有的时间推理基准通常依赖于语言提示,这导致模型可能通过语言捷径(如选项措辞、答案相关性或语言先验)来完成任务,而非真正理解视觉时间关系。为了减少这种偏差,Hugging Face推出了TempCloze基准。

TempCloze的设计与特点

  1. 基准结构:TempCloze要求模型根据视频的开头和结尾片段,从四个候选片段中识别出正确的中间部分。
  2. 数据来源与筛选:该基准包含1521个视频,主要来自长镜头和第一人称视角来源,经过严格筛选以确保质量。
  3. 干扰项设计:干扰项沿着语义、时间和进展三个维度构建,以减少视觉线索的影响。例如,语义干扰项关注事件应如何发生,时间干扰项关注事件应何时发生,而进展干扰项关注事件应如何展开。

主要发现与挑战

  1. 时间对齐瓶颈:评估显示,现有模型在识别语义内容和局部事件进展方面表现良好,但在时间对齐方面存在显著瓶颈。
  2. 行为模式分析:通过在TempCloze-Mixed和TempCloze-Hard上进行错误模式和行为敏感性分析,研究发现候选顺序、上下文方向、可见跨度、帧密度和测试时缩放等因素均会影响模型的选择。

行业影响与未来方向

TempCloze为视频大语言模型的时间推理能力提供了一个更严格的评估平台,推动了视觉时间推理领域的研究进展。开发者可以利用该基准来识别模型弱点,并开发更强大的时间推理算法。此外,TempCloze的发布也为AI社区提供了一个新的研究方向,即如何在减少语言捷径影响的情况下,提升模型对视觉时间关系的理解能力。

开发者建议

  • 模型评估:使用TempCloze对现有模型进行评估,以识别其在时间推理方面的不足。
  • 算法改进:针对时间对齐问题,开发新的算法和模型架构,以提升视觉时间推理能力。
  • 数据扩展:扩展TempCloze的数据集规模,并引入更多样化的视频来源,以增强基准的泛化能力。

消息来源:Hugging Face Daily Papers (2026-09-01)

—— 完 ——

主题标签: #Hugging Face #视频大语言模型 #时间推理 #基准测试 #视觉推理

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…