METR更新AI时间地平线:可验证任务每四个月翻倍,判断力仍成瓶颈
摘要:METR更新其AI“时间地平线”评测:前沿模型在可自动验证任务上的可完成时长仍约每四个月翻倍,但新增的评测设计与哲学论证等开放式任务中,最强模型尚未达到人类水平。部分新模型升至“勉强越过门槛”,却因样本少、专家评分集中且任务时长多靠估算,尚不能拟合稳定趋势。报告的关键价值,是把AI研发自动化真正需要的判断力纳入测量,同时暴露可验证任务进步向开放任务迁移仍缺乏证据。
核心结论:增长曲线与能力边界必须分开读
METR更新了AI“时间地平线”图:前沿模型在可自动验证任务上的可完成时长,仍呈现约每四个月翻倍的指数趋势。但新版评测同时加入了预计需要人类数百小时完成的长期任务,以及评测设计、哲学论证等开放任务。结果显示,模型在编码等验证型任务上的强势,并没有自动转化为研究品味、评价标准设计或复杂判断能力。
这不是一条“所有AI能力同步加速”的曲线,而是明显的双速结构:
- 可验证任务:成功与否可由编译器、测试程序或确定性评分器快速判定,模型能力呈稳定的倍增趋势。
- 判断型任务:目标定义不完整、反馈延迟且评价主观,当前模型尚未达到人类水平,进步点也过于稀疏,无法拟合可靠趋势。
换言之,METR证明了自动验证机制仍是能力扩展的重要杠杆,同时暴露了从“会解题”跨到“会选问题、会设计验证、会判断价值”之间的断层。
时间地平线究竟测量了什么
METR的基本方法是为每项任务建立人类完成时长基线,再让模型多次尝试任务,并根据通过门槛反推模型能够可靠完成多长的人类任务。这里的“任务时长”不是模型思考了多久,而是这项工作对人类专家而言通常需要多少时间。
若用 H(t) 表示时间地平线,报告中的四个月倍增可以近似写成:
H(t) ≈ H₀ × 2^(t/4)
对应约 ln(2)/4 = 0.173 的月对数增长率;若该趋势在一年内保持不变,对应约八倍扩张。但这只是对当前样本和特定任务分布的描述性拟合,不是自然界常数,也不能直接用于预测所有模型、所有任务或自主AI研发的到达时间。
这项指标的优势是容易解释:它把模型能力换算成人类可理解的工作时长。但它同时存在三类结构性限制:
- 人类时长不是纯认知量度。 完成任务可能依赖领域经验、工具熟练度、信息检索、等待时间与协作,环境不同会改变基线。
- 任务分布发生变化。 新版加入更长、更开放的任务后,曲线所代表的工作范围已不完全等同于原版,跨版本比较不能只看斜率。
- 结果依赖系统配置。 工具权限、推理预算、重试次数、提示框架和外部脚手架,都可能改变模型能否越过门槛。
为什么强化学习偏爱可验证任务
编码和数学任务特别适合规模化训练,因为成功信号可以被自动检查。模型尝试一次,测试程序返回通过或失败,强化学习算法据此更新策略:成功轨迹获得更高奖励,失败模式则被压低。随着验证器覆盖更多边界条件,奖励信号越来越密集,训练信号也能随着算力扩展。
开放式任务则面临不同的工程约束。评测设计的目标并不是“生成一段看起来合理的测试题”,而是生成能够准确区分模型能力、对研究问题有用且不容易被应试的测量工具。哲学论证评分同样没有唯一答案,成功标准往往要等专家阅读后才能判断。
因此,真正限制模型的并不只是推理能力,还包括验证经济性:
- 验证成本是否低于任务本身;
- 反馈是否足够及时,能否用于高频策略更新;
- 验证器覆盖的是结果、过程,还是任务真正关心的价值;
- 奖励是否会被投机策略利用,也就是常见的 reward hacking。
即使一项任务原则上可以验证,如果验证器昂贵、覆盖不足或容易被模型钻空子,它在训练管线中的有效奖励密度仍然很低。
评测有效性:为何开放式趋势暂时不能外推
新版报告最有价值的部分,不是宣告开放任务已经改善,而是主动承认现有证据不足。
METR发现,模型设计的AI评测没有一项被研究人员认为足以用于实际研究;在哲学论证评分上,模型也低于人类。不过,这些开放任务的完成时间大多由专家估计,而非让多名测试者实际执行数百小时任务。哲学论证任务还主要由一名评分者判断,模型得分更接近“与该评分者意见的一致程度”,而不是独立专家群体的一致评价。
这会同时削弱趋势图的统计基础和外部效度:
- 少量任务与少量模型无法区分真实进步、提示敏感性和评分噪声;
- 单个专家的偏好可能被误写成模型能力上限;
- “勉强越过门槛”只提供方向性信号,不足以支持指数外推;
- 若评测任务已出现在训练语料或公开数据中,还需额外控制数据污染;
- 若不同模型使用了不同工具、推理预算或代理框架,模型版本对比并不纯粹。
因此,这张图最适合用于诊断“验证型能力与判断型能力是否存在迁移断层”,而不适合直接充当AI研发自动化的时间预测器。
报告呈现的能力表现
| 评测维度 | 报告结果 | 应如何解读 | |---|---|---| | 可自动验证任务 | 前沿模型可完成任务的时长约每四个月翻倍 | 趋势强,但仅限当前任务分布与评测配置 | | AI评测设计 | 没有一项模型生成的评测被METR研究人员认为足够有用 | 模型即使擅长软件工程,也未掌握研究评价工具的设计标准 | | 哲学论证评分 | 模型表现低于人类 | 结果高度依赖评分者与量规,尚缺群体一致性证据 | | 新模型变化 | Opus 5.5等较新模型在评测设计上达到“勉强越过门槛” | 一年前所有模型均处于“明显低于门槛”,但样本不足以拟合趋势 |
最能说明问题的并不是某个绝对分数,而是能力迁移后的落差:先进模型在软件工程上已经可以超过几乎所有人类参与者,却仍无法产出METR愿意采用的评测设计。这意味着“能完成被明确定义的工作”仍不能替代“能定义什么工作值得完成”。
对开发者与智能体评测的落地建议
1. 不再依赖单一综合分数
模型选型应至少拆分为三个层级:可执行验证、量规评分和专家盲审。代码任务可以依赖隐藏测试与属性测试,但“测试是否覆盖关键风险”仍需要人工或独立模型复核。把这些层级压成一个数字,会隐藏最关键的失败来源。
2. 为开放式任务建立可校准的评分流程
单一LLM评审容易放大位置、措辞和自我偏好偏差。实践中应组合使用明确量规、成对比较、盲化顺序、多名独立评分者与分歧仲裁,并报告评分者一致性。只有量规经过人工标注校准,模型间比较才具有意义。
3. 把智能体评测落到端到端结果
智能体评测不能只看最终文本是否流畅,应同时记录任务成功率、工具调用正确率、重试次数、预算消耗、耗时、回归测试结果及人工接受率。开放式任务还应检查最终产物是否真的改变了后续决策或研究流程。
4. 固定比较条件后再谈进步
每次评测应锁定模型快照、提示模板、工具集合、推理预算、最大重试次数和任务版本。任何一项变化都可能改变时间地平线。趋势分析应在新版任务分布稳定后重新拟合,而不是直接延长旧曲线。
5. 对AI研发自动化保留人类门禁
当前更可行的系统架构是:模型生成候选研究方向或实验方案,确定性工具验证可验证部分,专家审查研究价值与关键假设,再由系统执行低成本实验。把“代码能运行”直接等同于“研究方向值得投入”,会跳过目前最薄弱的判断层。
结论
METR这次更新没有证明AI已经获得通用判断力,也没有证明递归自我改进即将到来。它真正揭示的是:可验证任务正沿着清晰的指数轨迹扩张,而开放任务仍停留在零散、不可稳定外推的改善阶段。
从工程角度看,当前瓶颈已不只是模型能否生成答案,而是能否低成本地定义成功、发现投机行为、获得高质量反馈,并把这些反馈转化为可靠训练信号。验证能力的扩张仍是AI研发自动化的主引擎;判断与评价能力则决定这项引擎能否从封闭任务走向开放研究。
—— 完 ——消息来源:MIT Tech Review AI (2026-11-20)
主题标签: #METR #AI评测 #时间地平线 #可验证任务 #AI研发自动化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区