Hugging Face发布CoEvoWhen框架:革新超长视频时间定位技术
摘要:Hugging Face推出了一种名为CoEvoWhen的新框架,通过策略与工具协同进化的方式提升超长视频时间定位的性能。该框架利用视觉语言模型(VLM)的推理轨迹,联合优化高层策略和可执行媒体工具,无需更新模型参数即可形成可复用的技能。实验表明,CoEvoWhen在五个基准测试中显著提高了超长视频时间定位的准确性,同时降低了推理时的视觉token成本,展示了其在长视频理解领域的有效性和通用性。
核心突破
Hugging Face推出的CoEvoWhen框架通过以下方式革新了超长视频时间定位技术:
- 策略与工具协同进化:CoEvoWhen框架利用视觉语言模型(VLM)的推理轨迹,联合优化高层策略和可执行媒体工具,形成可复用的技能,而无需更新模型参数。
- 外部技能更新器:通过蒸馏可转移的任务经验,外部技能更新器精细化长视频中图像和视频观测的协调方式,并使用其编码能力升级现有工具或创建新工具,以适应长视频证据的获取。
- 自主工具编排:在进化的策略指导下,VLM能够自主编排工具,协调图像和视频观测进行推理,而无需依赖单独的、更强大的规划模型。
实验结果
CoEvoWhen在五个基准测试和三种VLM上的实验结果表明:
- 时间定位准确性提升:在超长视频的时间定位任务中,CoEvoWhen显著提高了准确性。
- 视觉token成本降低:推理时的视觉token成本显著降低。
- 通用性验证:进化的技能在一般长视频问答任务中表现出色,无需额外的任务特定进化。
技术亮点
- 无需模型参数更新:通过策略与工具的协同进化,CoEvoWhen能够在不更新模型参数的情况下提升性能。
- 可复用的技能:进化的技能可以复用到其他相关任务中,展示了其通用性。
- 长视频理解:该框架特别适用于长视频理解任务,解决了现有方法在长距离证据搜索和细粒度事件理解之间的平衡问题。
行业影响与开发者建议
CoEvoWhen框架的发布为长视频处理领域带来了新的思路和方法,特别是在需要高效处理和理解大量视频数据的应用中,如视频监控、影视制作和在线教育等。开发者可以尝试将CoEvoWhen集成到现有的VLM工作流程中,以提升长视频处理任务的性能。此外,CoEvoWhen的协同进化机制也为其他领域的智能体系统优化提供了参考。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-30)
主题标签: #Hugging Face #CoEvoWhen #长视频处理 #VLM #策略与工具协同
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区