Agent-R²用真实工作数据训练4B办公智能体，反超235B模型
摘要：Agent-R²提出面向真实生产力任务的端到端数据合成框架：以职业种子、语料中的工作流证据和网页真实附件为根基，从1万个网页语料候选中构建4000个多格式任务，并用细粒度交付物评分器进行监督微调和强化学习。仅训练4000个实例的4B模型在GDPval和OfficeQA上分别取得51.0%和14.8%，超过Qwen3-235B-A22B-Thinking-2507。其价值在于降低办公智能体后训练的数据成本，但样本规模、奖励偏置与跨职业泛化仍需独立验证。
真实文件与细粒度评分构成后训练闭环
Agent-R² 没有沿用“LLM 编写工作流、再由 LLM 虚构附件”的常规合成路线，而是把真实职业语料、语料中可验证的工作流证据和网页来源文件贯穿数据合成流程。研究团队先从真实网页语料中筛选约 1 万个职业相关候选，再蒸馏出 4000 个任务实例；每个实例包含多格式附件以及针对最终交付物的细粒度 rubric。
这一设计针对办公智能体的核心缺口：最终答案正确并不等于任务完成。智能体必须读取 PDF、表格或文档，在长链路中保持约束，并产出可以被他人直接使用的文件。Agent-R² 因而把训练目标从回答匹配推进到交付物验收，让模型学习何时读取证据、如何构建文件，以及何时验证产物。
4B模型超越235B模型，数据效率比参数规模更关键
研究使用这 4000 个实例训练 Agent-R²-4B，训练流程结合监督微调与 rubric-based reinforcement learning。前者提供任务轨迹和交付格式的初始行为，后者利用细粒度评分器对执行结果提供优化信号。
在 GDPval 上，Agent-R²-4B 得分 51.0%，对比 Qwen3-235B-A22B-Thinking-2507 的 48.0%；在 OfficeQA 上，两者分别为 14.8% 和 13.8%。4B 模型在两项任务上均超过 235B 混合专家模型，说明参数规模不是完成复杂办公任务的唯一决定因素，训练数据与文件环境的一致性可能更关键。
不过，这并不等于 4B 模型在通用能力上全面超越 235B 模型。两项办公基准覆盖的任务类型、评分器和模型配置仍可能偏向研究设定。尤其是 GDPval 与 OfficeQA 的绝对分数都不高，意味着“击败大型基线”不能直接解读为已经达到稳定的无人化办公能力。
Rubric 奖励把优化目标对准最终交付物
这类智能体不是只生成文本，而是生成 Excel、文档、报告或其他工作产物。若奖励仅依赖答案字符串或大模型裁判，模型可能产出形式正确但内容错误、引用不足或无法打开的交付物。Agent-R² 使用细粒度 rubric，把交付质量拆成可核验维度，使强化学习能够区分“完成步骤”和“交付可用成果”。
从训练工程看，这种方案把评估器置于训练闭环的关键位置。优势是奖励与最终任务目标更接近，也能抑制仅靠语言流畅度刷分的捷径；代价则是 rubric 设计与运行成本较高，而且自动评分器可能误判格式、遗漏约束，或对某类文档存在系统性偏好。如果 rubric 本身可被模型猜中，策略仍可能学习“针对评分器优化”，而不是提高真实生产力。
真实附件提高文件推理，也引入噪声与安全风险
研究还观察到，Agent-R² 能减少一种典型的 shortcut behavior：智能体在尚未充分读取、构建或验证文件时，就提交表面合理的交付物；训练后的模型更倾向于持续探索与验证。真实多格式附件为这类行为提供了具体的训练信号，因为文件内容必须被读取后才能满足 rubric。
真实文件并非天然适合训练。网页附件可能包含损坏格式、重复内容、恶意提示文本、隐私信息和版权受限材料。若文档内含针对模型的指令，执行环境必须把附件内容视为不可信数据，不能让其中的文本改变系统策略。训练流水线还需要过滤文件类型、隔离提示注入、保留来源授权记录，并在评测时划分训练可见与不可见的职业和文件类型。
工程权衡：少样本精数据与高成本验证并存
Agent-R² 的数据量只有 4000 个实例，显著低于大规模指令微调语料，但每个样本包含真实附件与精细评分器，因此单位样本的构建和验证成本更高。数据蒸馏还要先完成候选筛选、职业映射、工作流抽取和文件打包，不能简单等同于“批量生成问答”。
模型规模较小，有利于降低训练与私有化部署门槛，但长上下文、多格式解析、工具调用和交付物验证仍可能消耗大量推理成本。4B 模型在基准上获胜，不代表完整办公智能体的总 token 消耗、延迟或失败重试次数更低。生产部署还需要并行文件解析、工具沙箱、可恢复执行、版本化产物以及人工审批节点。
开发者落地建议
团队若要复现该路线，应先把真实任务拆成“输入文件—约束—工具轨迹—最终交付物—验收 rubric”五层，而不是直接收集通用聊天记录。优先选择能够自动验证结果的场景，如表格汇总、文档抽取、合规检查和多文件比对；对无法自动判定的开放式交付物，应采用规则检查、程序化验证与人工抽样结合的混合评分。
评测阶段还应分别记录最终文件正确率、工具调用成本、端到端时延、重试次数和人工返工时间。只有这样，才能判断 Agent-R² 类数据方法带来的收益是否会在生产环境中被更长的推理链路和复杂的文件解析抵消。
总体而言，Agent-R² 的主要贡献不是提出新的基础模型架构，而是证明真实职业数据、真实附件与交付物级奖励可以构成一条低样本、高密度的办公智能体后训练路径。4B 模型超过 235B 基线是有价值的信号，但最终结论仍需来自跨职业、跨文件格式、跨执行框架的独立复测。
—— 完 ——消息来源：Hugging Face Daily Papers (2026-11-05)
主题标签： #Agent-R² #办公智能体 #真实数据合成 #Rubric强化学习 #多格式文件
编辑部与事实核查说明：本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译，经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏，欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区