IntentTwin揭示网页行为评测捷径：候选集泄漏可制造满分假象

摘要：IntentTwin 指出，离线网页行为基准常把目标动作放入有限候选集，并从训练分布采样干扰项；当目标超出训练支持范围时，仅凭“是否属于训练支持”即可无模型选出正确答案。研究提出支持可识别率 SIR，通过支持平衡候选集消除捷径，并在 OPeRA 上构建结合支持检索与开放词汇 DOM/LM 提议的双路径系统。平衡后最强条件重排器总体 Exact@1 为 0.7214，而无目标双路径系统为 0.5212，与 Oracle 条件模型仍有明显差距。结果说明，网页智能体评测必须同时控制候选集构成，并单独度量从候选生成到最终决策的部署差距。

---

核心发现：候选集本身泄漏了答案

网页行为预测基准通常把人工演示的目标动作插入一个有限候选集，再让模型执行重排。这种设计看似降低了任务难度，却可能把评测捷径藏在候选集构造中：如果目标动作位于训练分布之外，而所有干扰项都来自训练支持集，模型只需判断候选是否曾出现在训练数据中，就能在完全不理解网页行为的情况下选出正确答案。

IntentTwin 将这种现象形式化为支持可识别率（Support-Identifiability Rate, SIR）。其核心问题不是“模型能否重排给定候选”，而是“候选标签与支持集成员关系是否泄漏了正确答案”。在原始 OPeRA 协议中，目标 OOV 样本的 SIR 达到 1.0000；一个完全不使用网页内容和行为信号的 support-only 规则，同样取得 1.0000 OOV Exact@1。换言之，原本被视为模型能力的指标，完全可能由数据采样策略制造。

这类混淆在逻辑上类似分类评测中的标签泄漏：训练支持集参与了测试候选集的构造，使正确答案与负例不再具有相同的先验分布。一旦目标样本和干扰样本的生成来源不对称，模型即使获得高分，也无法证明具备处理新任务、新措辞或新网页结构的能力。

SIR与支持平衡：先消除可利用的捷径

研究构造了支持平衡候选集，使候选动作是否属于训练支持集不再单独决定答案。平衡后，SIR 从 1.0000 降至 0.0000，原本可以利用支持成员的 shortcut 被关闭。

在过滤后的 OPeRA 数据集上，数据划分为 4,282 个训练步骤、469 个开发步骤和 992 个测试步骤。支持平衡后的最强条件重排器取得 0.7214 总体 Exact@1，其中训练支持内样本为 0.7988，支持外样本为 0.5668。两者约 23.2 个百分点的差距说明，即使消除了显式泄漏，分布外网页动作仍明显更难，模型对训练支持存在依赖。

SIR 因而不是附属诊断指标，而是评测有效性的前置门槛。只要 SIR 明显高于随机水平，后续 Exact@1 就必须拆解为候选泄漏贡献与真实行为建模贡献，否则离线结果无法外推到部署。

无目标双路径提议器：把召回与决策解耦

IntentTwin 进一步评估了一个部署更现实、但推理时不知道目标动作的 target-free 双路径系统。第一条路径通过支持检索，从训练支持中寻找可能相关的候选；第二条路径使用开放词汇 DOM 与语言模型生成提议，以覆盖训练支持之外的新动作。系统再对合并候选进行条件重排。

该系统的 Proposal Recall@16 为 0.6915，端到端 Exact@1 为 0.5212；作为参照，假设目标已进入候选集的条件模型达到 0.7450 Exact@1。由此可得 Oracle-to-proposal gap 约为 0.2238：相当一部分错误在候选生成阶段就已经发生，后续重排器无法补救。

这一差距揭示了网页智能体常见的评测盲区。许多工作默认候选集由检索器或人工提供，因而只报告重排准确率；但真实部署必须先找到可能正确的页面元素，再判断哪个元素符合用户意图。系统瓶颈因此可分解为：

• 提议召回上限：正确动作是否进入前 K 个候选；
• 候选支持偏差：候选构造是否泄漏答案或系统性遗漏 OOV 动作；
• 条件判别能力：目标已知时，模型能否选择正确动作。

只报告第三项，会把检索失败包装成“推理失败”，也会把候选泄漏误包装成“行为理解能力”。

Mind2Web审计：问题并非只存在于单一数据集

研究在 Mind2Web 上采用相同审计，得到 SIR 0.2380，以及 0.2125 的 Oracle-to-proposal gap。虽然污染程度低于 OPeRA，但 SIR 仍明显非零，说明候选支持偏差不是单个数据集的偶然实现细节。

更值得注意的是，这套审计能在不依赖新模型的情况下复用：团队只需掌握训练支持集定义、候选集构造方式和目标标签，就能检查候选成员关系是否成为标签代理。对于公开基准维护者，这应成为数据发布流程中的标准审计，而不应等到模型排行榜发布后才补做。

语义审计：OOV并不自动等于真正新颖

研究还人工标注了 200 条 exact-key OOV 目标。结果显示，71.50% 属于语义新颖动作，24.50% 只是定位器或字符串变体，4.00% 语义含糊；Cohen's κ 为 0.8173，表明标注一致性较高。

这一区分非常重要。若 OOV 只是把同一动作换了 locator、属性表达式或文本格式，那么它主要测试字符串泛化与归一化能力；若动作本身超出训练支持，则更接近真实的新任务泛化。把两类样本混在同一个 Exact@1 中，会掩盖模型究竟在哪一种泛化上失效。研究中的 71.5%/24.5%/4.0% 划分因此也提供了后续分层评测的依据。

工程权衡：可部署性提高，但误差预算更严格

双路径方案的优势是推理时不需要目标标签，符合真实网页智能体的任务条件；开放词汇 DOM/LM 提议器也能生成训练集从未包含过的动作。代价是系统需要维护两条候选来源，并处理检索相似度、DOM 解析失败、语言模型幻觉和候选去重带来的额外计算与误报。

支持检索路径通常成本较低，但对新页面结构和措辞的覆盖有限；开放词汇路径可扩大语义覆盖，却可能生成不可执行或与当前 DOM 无关的动作。更合理的工程实现不是让一条路径完全替代另一条，而是使用支持信号提高高频动作的先验排序，同时以结构校验、可执行性检测和 DOM 对齐过滤开放提议。

条件重排器同样不能被视为终点。候选数量扩大后，交叉编码器或 LLM 重排成本近似随候选数线性增长；真实系统还需设置候选上限、延迟预算和降级策略。一个务实方案是先用高召回轻量检索生成 32—64 个候选，再以结构化规则剔除无效元素，最后仅对 Top-16 或 Top-32 运行较重的条件模型。

开发者与基准维护者建议

1. 发布候选集生成代码：明确每个候选来自训练支持检索、开放模型生成还是人工采样。
2. 加入支持平衡约束：分别报告 IV 与 OOV Exact@1，并确保支持成员关系不能直接预测标签。
3. 计算SIR：按目标是否属于训练支持分层统计，目标是接近随机水平，而不是整体准确率最高。
4. 拆分三项指标：同时报告 Proposal Recall@K、条件重排 Exact@1 和端到端 Exact@1，避免只报告 Oracle 条件结果。
5. 审计语义新颖性：把 locator/string variation 与真正的新动作分开统计，防止“伪 OOV”掩盖分布外泛化。
6. 控制线上偏差：除数据偏差外，还应模拟网页布局变化、DOM 噪声、延迟加载和目标不可见等情况。

IntentTwin 的价值不在于提出一个更高的网页智能体分数，而在于证明离线基准可以在不建模用户行为的情况下产生满分。其工程含义很明确：候选集构造必须接受可识别性审计，部署能力必须从候选生成开始计量。若忽略这两个前提，榜单上的条件重排能力很可能只是候选采样策略的镜像。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-11)

—— 完 ——

主题标签： #网页智能体 关注 #评测偏差 关注 #候选集泄漏 关注 #意图预测 关注