arXiv发布GeoFitBench-LLM：评估大语言模型在地理空间数据分析中的能力

摘要：arXiv推出了GeoFitBench-LLM，这是一套用于评估大语言模型（LLM）在地理空间数据分析中表现的新基准测试平台。该平台聚焦于地理分析任务中的数据需求提取能力，涵盖时空关系推理和语义基础两个维度，旨在解决现有LLM在地理AI系统中对地理数据需求识别不足的问题。实验表明，GPT-5.4 Thinking在该基准测试中表现最佳，在66.67%的请求中成功识别了完整的数据集，但准确的应用场景适配仍具挑战性。GeoFitBench-LLM为地理AI系统的开发提供了更客观的评估标准。

---

GeoFitBench-LLM：地理空间数据分析的新基准

1. 背景与动机

大语言模型（LLM）在地理人工智能（GeoAI）系统中的应用日益广泛，但现有评估方法很少关注LLM在地理空间数据需求提取方面的能力。这种能力对于支持检索导向的地理分析任务至关重要，因为这些任务需要首先识别必要的数据集和约束条件。

2. GeoFitBench-LLM的设计

GeoFitBench-LLM旨在填补这一空白，通过以下方式构建：

• 推理维度：涵盖时空关系推理和语义基础两个维度，反映地理信息检索中的长期挑战。
• 标准化模式：将真实需求编码为固定、供应商无关的模式，以确保可重复的评估。
• 实验设置：在最小提示条件下对七个模型进行测试，评估其识别必要资源的能力。

3. 实验结果与表现

实验结果表明，识别必要资源通常是可行的，其中GPT-5.4 Thinking表现最佳，在66.67%的基准测试请求中成功恢复了完整的数据集。然而，随着推理需求的增加，准确的应用场景适配仍然具有挑战性。

4. 技术机制与权衡

• 优势：GeoFitBench-LLM提供了一种系统化的方法来评估LLM在地理空间数据分析中的表现，为地理AI系统的开发提供了更客观的评估标准。
• 挑战：准确的应用场景适配仍需进一步优化，尤其是在处理复杂的地理分析任务时。

5. 开发者建议

• 模型选择：建议开发者根据具体应用场景选择合适的LLM，并结合GeoFitBench-LLM进行评估。
• 数据预处理：在应用LLM进行地理空间数据分析时，应重视数据预处理和需求提取的准确性。
• 持续优化：针对应用场景的特定需求，持续优化模型以提高其适配性和准确性。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-12)

—— 完 ——

主题标签： #GeoFitBench-LLM 关注 #大语言模型 关注 #地理空间数据分析 关注 #基准测试 关注 #GeoAI 关注