WebArena-Pro推出300任务多模态网页智能体基准
摘要:WebArena-Pro 发布一套面向网页智能体的可复现、多模态基准:300 个任务覆盖 20 个自托管应用、6 个领域类别,并把音频与视频作为一等观察对象,支持专门的媒体信息提取动作。每个任务隔离运行且可并行评测,配合专用标注界面、LLM 辅助筛选和人工终审。Codex+GPT 6.1 Sol 与 Claude Code+Claude Opus 5.5 均获 62.3%,但不同智能体框架混用使结果更接近端到端系统对比,模型能力、工具策略与工程脚手架尚难解耦。
WebArena-Pro 将网页智能体评测从文本与截图扩展到包含音频、视频的浏览器任务,并以 300 个任务、20 个自托管应用和 6 个领域类别补齐既有基准在覆盖面上的不足。它的工程重点不是再做一个总榜,而是把网页状态、媒体理解、代理动作和隔离执行放进同一套可重复测试环境。
基准结构:从站点数量扩展到任务异质性
WebArena-Pro 的 300 个任务覆盖 20 个自托管 Web 应用,并横跨 6 个领域类别。不同任务不仅页面不同,界面约定、业务流程和数据模型也存在差异,因此它测试的是智能体能否迁移到不同 Web 应用中的通用操作能力,而非记住某个站点的固定 DOM 路径。
现有在线基准虽然更容易覆盖真实网站,却会遭遇页面更新、广告注入、业务数据变化和服务端波动。WebArena-Pro 通过自托管应用控制这些变量,使同一任务能够在相对稳定的环境中重复执行。不过,自托管并不自动等于可复现:浏览器版本、容器镜像、数据库种子、扩展程序、媒体素材和重试策略仍需统一锁定,否则应用升级同样可能改变结果。
技术机制:把音频与视频纳入代理动作循环
在典型网页智能体循环中,模型接收页面观察、执行点击或输入等动作,再由环境返回下一轮观察。WebArena-Pro 将文本、视觉页面、音频和视频都视为核心观察对象,并为音频和视频提供专门的信息提取动作。
这一设计避免了在每轮上下文中直接塞入完整媒体流。代理可以按需请求媒体中的关键证据,再把提取结果用于后续决策;底层通常由转写、音频事件识别、关键帧分析或专用媒体解析器承担。其优势是控制上下文长度和推理成本,但也会引入新的失效链:转写错误、关键信息遗漏或视觉解析偏差都可能沿动作链向后传播。因而,音频和视频子任务需要独立评分,不能只看最终总成功率。
可复现性工程:隔离执行与人工校验
基准支持每个任务在隔离环境中运行,并允许并行评测。任务则通过专用标注界面创建,依次经过 LLM 辅助筛选和人工验证后发布。这一流程同时解决两个问题:隔离执行降低并发任务之间的状态污染,人工终审则降低自动标注产生的格式错误、歧义和无意义任务。
LLM 辅助筛选能够提高标注吞吐量,却可能偏好语言流畅、模式明显或更符合标注模型偏好的任务;人工验证可以缓解这种偏差,但不能完全消除选择偏差。真正可复现的评测还应公布容器镜像摘要、浏览器构建版本、数据库重置方式、媒体文件校验值、动作执行器版本、评分器及其提示词配置。当前摘要没有披露这些执行细节。
实测表现:领先结果仍受框架差异干扰
| 智能体配置 | 报告得分 | |---|---:| | Codex + GPT 6.1 Sol | 62.3% | | Claude Code + Claude Opus 5.5 | 62.3% | | OpenCode + Kimi 3.1 Pro | 60.7% | | GenericAgent + Gemini 3.1 Pro omni | 30.3% | | GenericAgent + Gemma4 31B | 30.3% |
62.3% 的并列领先说明 Codex 与 Claude Code 这类编码智能体框架,在 WebArena-Pro 上形成了当前最强的端到端系统;但这组结果不能被直接解释为底层模型的纯能力排名。Codex、Claude Code、OpenCode 和 GenericAgent 在工具集合、观察序列化、规划循环、上下文预算、重试机制和最大步数上并不等价。尤其 GenericAgent 配置只有 30.3%,模型能力与代理脚手架的影响尚未解耦。
第一、第二名相差 1.6 个百分点,也不能据此认定两者存在显著优势。若把 300 个任务粗略视为 300 次独立二元成功,p=0.623 对应的标准误约为 sqrt(0.623×0.377/300)=2.8 个百分点,95% 区间约为正负 5.5 个百分点。但 62.3%×300=186.9 并不是整数任务数,说明最终指标可能包含部分得分、加权聚合或多轮平均。论文需要明确计分公式、重复次数和置信区间,才能解释这一差距。
工程权衡:可复现性、覆盖率与成本彼此牵制
- 自托管覆盖与维护成本:20 个应用扩大了任务多样性,却也把浏览器兼容、依赖升级、数据库迁移和状态重置变成持续维护负担;任何应用变更都可能破坏历史结果。
- 多模态完整性与推理开销:音频和视频比文本消耗更多编码、缓存与推理资源。按需提取可以压缩上下文,但也会损失未被提取器覆盖的信息。
- 任务隔离与并行效率:一任务一环境提高了确定性,却需要容器调度、临时存储和状态清理机制;基础设施实现不当可能让评测时间被排队和重置开销主导。
- 自动筛选与任务代表性:LLM 辅助标注适合规模化质检,但筛选偏差可能使基准更接近某类模型擅长的任务形态。
- 静态环境与真实生态差距:固定站点能控制变量,却无法完整模拟登录风控、网络延迟、广告、第三方脚本和频繁改版等生产环境变量。
开发者落地建议
- 先固定运行时,再比较模型:统一应用镜像、浏览器构建、数据库种子与重置逻辑,并记录每一步 DOM、截图、媒体提取结果和动作日志。
- 发布多维成绩单:除总成功率外,分别报告文本、视觉、音频、视频子任务,以及 Token 成本、端到端延迟、动作数、重试次数和人工接管率。
- 采用因子实验解耦模型与框架:在相同观察接口、上下文预算和工具权限下交叉运行多个模型与智能体框架,避免把脚手架收益归因于模型。
- 保留隐藏任务与版本化数据:将公开开发集、隐藏测试集和回归集分离,防止代理提示词或路由策略针对 300 个任务过拟合。
- 将基准接入 CI 门禁:优先观察任务成功率回归、动作轨迹和成本变化,而不是只以排行榜名次判断一次升级是否有效。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-13)
主题标签: #WebArena-Pro #网页智能体 #多模态评测 #可复现基准 #音频与视频
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区