智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #程序视频理解 #在线错误检测 #指令条件学习 #第一视角视频 #多模态助手

联合建模改进程序视频在线错误检测与滑误识别

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:论文把程序操作辅助从离线复盘推进到在线干预:模型仅依据已观测视频、任务指令与历史预测,在动作尝试结束时判定步骤身份、时间区间及执行类型,并区分正确、修改、滑误、纠正和新增动作;遗漏步骤仅在视频结束后判断。研究比较分阶段流水线与联合模型:二者在步骤分割[email protected]上分别为93.6%和92.1%,联合模型把二元错误F1从80.7%提至84.1%,滑误子类从37.5%升至56.4%。结果支持联合建模减少级联误差,但摘要仍缺告警时延、算力、方差与代码信息,部署价值需独立验证。


## 任务定义:从识别动作转向在线判定是否做对 这项研究处理的是第一视角程序视频中的实时辅助:系统不能等整段视频结束后再统一复核,而要随着视频到达,把当前动作与任务说明逐步对照,判断操作者正在尝试哪个步骤、该步骤何时发生,以及执行是否正确。 从接口上看,模型在时刻 `t` 仅能访问视频前缀 `V_1:t`、任务指令 `I` 和此前预测 `y_ **消息来源**:[Hugging Face Daily Papers](https://huggingface.co/papers/2611.25567) (2026-11-19) —— 完 ——

主题标签: #程序视频理解 #在线错误检测 #指令条件学习 #第一视角视频 #多模态助手

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…