Hugging Face提出Reviso框架：基于优先级引导的主动感知视频字幕生成

摘要：Hugging Face提出了一种名为Reviso的新型视频字幕生成框架，通过学习如何选择性地观察视频内容并收集相关视觉证据，提升了视频字幕生成的准确性和上下文连贯性。Reviso采用分层上下文-焦点-点（CFP）观察计划，结合主动感知和目标导向的工具使用，显著改善了字幕生成质量，并支持下游视频问答任务。实验结果表明，Reviso在多个基准测试中表现优异，展示了其在视频理解领域的潜力。

---

Reviso框架的核心机制

Reviso框架通过以下步骤实现视频字幕生成：

1. 全局预览与CFP计划构建：Reviso首先对视频进行低帧率全局预览，生成一个分层级的Context-Focus-Points（CFP）观察计划。该计划识别视频的上下文环境，优先考虑关键方面，并定义具体的观察目标和相应的工具。

2. 主动感知与证据收集：根据CFP计划，Reviso有选择地重新访问视频的时间片段，并结合多种工具进行细粒度检查。这一过程确保了Reviso能够收集到与视频内容高度相关的视觉证据。

3. 证据解释与计划更新：Reviso对收集到的证据进行解释，并根据需要更新其观察计划。这一机制使得Reviso能够动态调整其感知策略，以适应视频内容的变化。

4. 全局与局部信息整合：Reviso将全局和局部信息整合在一起，生成最终的字幕。这一过程确保了字幕的准确性和上下文连贯性。

技术创新与优势

• 优先级引导的主动感知：Reviso通过学习视频内容的重要性，优先处理关键信息，避免了对次要细节的过度关注。

• 分层观察计划：CFP计划使得Reviso能够系统地组织其感知过程，确保对视频内容的全面理解。

• 工具组合与细粒度检查：Reviso能够组合多种工具进行细粒度检查，从而收集到更丰富的视觉证据。

• 验证引导的训练流程：Reviso采用了一种验证引导的训练流程，通过事实验证和教师指导的改进来构建高质量的训练轨迹。

• 奖励机制优化：Reviso的训练过程中引入了关键事实奖励（key-fact reward）、计划对齐奖励（PAR）和非生产性工具调用惩罚（UTCP），以优化其观察策略。

实验结果与性能

Reviso在四个视频字幕生成基准测试中表现优异，生成的字幕在准确性和上下文连贯性方面均优于现有的开源基线模型。此外，Reviso生成的字幕在下游视频问答任务中也表现出色，展示了其在多模态理解中的潜力。

开发者建议

• 模型微调：开发者可以根据特定应用场景对Reviso进行微调，以进一步提升其性能。

• 工具扩展：Reviso的架构支持多种工具的组合，开发者可以扩展其工具库以适应不同的任务需求。

• 跨模态应用：Reviso不仅限于视频字幕生成，还可以应用于其他多模态任务，如视频问答和视频检索。

---

消息来源：Hugging Face Daily Papers (2026-11-02)

—— 完 ——

主题标签： #Hugging Face 关注 #视频字幕生成 关注 #多模态AI 关注 #主动感知 关注