EarthRecord评测多模态智能体：四十年卫星影像仍难映射地表变化

摘要：EarthRecord构建了一个面向地表变化分析的多模态智能体基准，覆盖56个地点、四十年Landsat、MODIS、VIIRS与Sentinel-2原始影像，并设置238个问题及10类任务。智能体需自行完成云掩膜和跨传感器协调，而非依赖预整理图像。结果显示，领先智能体虽能端到端完成多数分析，却难以建立影像与真实地物变化之间的映射；实验扰动一颗卫星的数据后，约一半正确答案随之改变，暴露出视觉证据利用与因果判断的系统性缺口。

---

核心发现

EarthRecord把多模态智能体评测从“回答一张整理好的图片”推进到“处理真实地球观测档案”：智能体面对56个地点、约四十年的Landsat、MODIS、VIIRS与Sentinel-2原始数据，需要自行完成云掩膜、跨传感器协调及时间序列分析，再回答238个涉及10类任务的地表变化问题。

评测覆盖12个多模态智能体。结果表明，领先系统已能端到端执行不少分析流程，但当答案要求把卫星像素映射到地表变化时，性能明显下降。更关键的是控制实验发现：仅替换一颗卫星的数据、保持现实世界不变时，约一半原本正确的答案会跟随被替换的数据。这意味着智能体虽然读取了像素，却没有稳定识别这些像素所对应的真实地理过程。

基准为何比“影像问答”更难

传统遥感评测通常向模型提供裁剪完成的单景影像、清晰时间窗口，甚至预先处理好的变化检测结果。这能够测试视觉问答，却绕开了真实分析中最难的部分：长时间序列中的噪声累积、传感器差异和数据缺测。

EarthRecord保留原始观测记录，并让智能体处理三个相互关联的工程问题。

第一是云与阴影识别。云、卷云和地形阴影会造成反射率突变，若掩膜不完整，模型可能把大气伪变化识别为地表变化。第二是跨传感器协调。Landsat、MODIS、VIIRS与Sentinel-2的空间分辨率、 revisit 周期、光谱响应和噪声特征不同，不能直接把像素值视作同口径测量。第三是时间推理。变化检测不仅需要比较两个时点，还要处理季节纹理、植被周期、阴影和传感器漂移。

因此，基准测试的真正对象不是单次视觉识别能力，而是一个包含检索、重采样、质量控制、时序比较和解释的多工具工作流。

评分体系与两类控制实验

EarthRecord没有把所有任务压缩为单一准确率。其参考答案综合三类证据：全球土地覆盖或变化产品、多个方法之间的一致性，以及人工视觉解释。这种设计可以减少单一产品标签的偶然性，但也意味着评测结果依赖参考产品的空间分辨率、时间语义和误差边界。

两项控制实验尤其重要。

• Closed-book控制移除卫星记录，仅允许智能体依靠既有知识作答，用于判断模型是在分析影像，还是在复述训练语料中的地理常识。
• Instrument-pair控制只改变一颗卫星的数据，地面情况保持不变。若答案随受控数据变化而改变，说明模型可能把传感器异常当成真实变化，也可能只是没有建立稳定的跨传感器对应关系。

后者本质上是在测试观测变化与现实变化之间的因果隔离。一个真正可靠的地球观测智能体，不仅要说明“像素发生了什么”，还应判断这种变化是否来自地表过程，而不是云、传感器或处理链。

技术机制：问题不只在视觉编码器

从工程实现看，EarthRecord要求智能体至少具备四类能力。

1. 档案检索与时间窗口选择：不同任务需要不同观测频率。年度变化分析可能依赖Landsat，火灾与植被异常则可能需要更高时间分辨率的MODIS。智能体必须先确定相关传感器和时间范围，而不是无差别检索全部影像。
2. 辐射与几何归一化：不同传感器需要统一辐射单位、投影与空间分辨率。通常涉及传感器增益、太阳高度角、地形校正和重采样；其中双线性插值较平滑，邻近法更适合保持分类边界，但任何插值都会引入混合像素。
3. 质量控制与配准：云掩膜必须与每个时点同步执行，且要处理影像间配准误差。若边缘位移没有被控制，水体边界和道路变化容易产生虚假差异。
4. 证据约束的结论生成：模型应保留数据来源、时点、传感器和质量标记，使最终答案可以追溯到具体观测，而不是只生成看似合理的地理描述。

这类工作流更适合通过规划器、专用影像处理工具、检索器和受约束的证据汇总器组合完成，而不是期待单次VLM调用直接完成。

评测暴露的工程权衡

EarthRecord结果显示，当前智能体面临“流程完成度”与“结论可靠性”之间的明显落差。端到端跑通任务并不等于正确理解地表变化。模型可能掌握如何调用云掩膜、拼接影像和生成报告，却缺少把观测信号映射到物理过程的校准能力。

对基准开发者而言，这一现象也带来取舍。保留原始档案提高了真实性，却显著增加数据下载量、I/O、缓存成本和复现实验耗时。采用多个全球产品作为参考可以提升稳健性，但不同产品对“森林损失”“城市扩张”或洪水区域的定义并不完全一致，评分器需要明确处理语义冲突和边界误差。

对智能体开发者而言，直接扩大模型参数量未必能解决问题。更有效的路径可能是：

• 为每种传感器建立可审计的校准与质量控制工具；
• 将检索、去云、配准、重采样和变化检测拆成明确阶段；
• 要求答案引用具体传感器、时点和派生指标；
• 用 instrument-pair 式扰动测试评估证据链是否稳定；
• 对无法排除云、阴影或传感器异常的地块主动拒答。

客观看待基准结果

约一半正确答案会跟随单颗卫星数据被改变，是摘要中最值得警惕的发现。不过，这一比例不能直接解释为“模型有一半概率完全错误”：受控改变可能暴露的是视觉依赖、跨传感器对齐失败，或变化检测算法本身的不稳定性。论文完整方法、任务分布和分项结果仍需核验，才能判断该比例在不同任务和模型之间是否一致。

同样，基准没有出现明显重复事件，其价值主要在于揭示现有评测的缺口，而非证明某一种模型架构落后。闭卷、视觉扰动和跨方法参考共同构成了相对严格的诊断框架，但参考产品本身的时间分辨率、标签噪声以及人工解释的一致性，仍会影响最终排名的可比性。

开发者落地建议

对于真实地球观测应用，不宜把EarthRecord式评测理解为一次榜单测试，而应改造成持续回归套件。

首先，为生产数据保留原始轨道、缩放因子、质量波段和云掩膜版本，避免只保存渲染后的RGB切片。其次，对每条变化结论保存传感器、时点、空间分辨率和参考产品。最后，用不影响地面真实情况的合成扰动检查系统是否过度依赖某一数据源。

在智能体工作流中，可将“观测事实”“派生变化指标”和“地面解释”分层输出：云量上升、反射率差异或NDVI下降属于观测事实；超过阈值的持续趋势属于派生信号；具体归因于城市扩张、火灾或季节变化则属于解释层。明确分层后，模型才有机会暴露不确定性，而不是用流畅文本掩盖证据链断裂。

EarthRecord最重要的贡献，是把评价标准从“是否读懂影像”推进到“是否基于多源观测形成可信的地表变化判断”。对于遥感智能体而言，视觉像素与真实世界之间的映射质量，才是比流程完成率更关键的指标。

---

消息来源：ArXiv AI (cs.AI) (2026-11-11)

—— 完 ——

主题标签： #EarthRecord 关注 #多模态智能体 关注 #卫星遥感 关注 #地球观测 关注 #智能体评测 关注