智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #自动驾驶 #语义理解 #知识图谱 #视觉语言模型 #推理

arXiv 发布基于多数据集的驾驶语义框架:提升自动驾驶场景的可解释性推理

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 10 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv 平台发布了一项关于驾驶场景理解的研究,提出了一种基于多数据集的确定性谓词框架。该框架通过几何、运动学、时间、地图和交通控制等可测量证据,生成驾驶场景的语义关系,并构建了一个通用的谓词知识图谱(Predicate Knowledge Graph)。实验结果表明,该框架在 nuPlan 和 nuScenes 数据集上的语义验证宏 F1 分数分别达到 0.94 和 0.93,显著提升了自动驾驶场景中语义关系的可解释性和一致性。此外,该框架在 LLaVA-OneVision-7B 模型上的测试中,Predicate KG 在多个 NuPlanQA 子任务中表现优异,展示了其在减少视觉依赖和提升推理效率方面的潜力。


研究背景与动机

近年来,视觉-语言模型(VLM)在驾驶场景理解中的应用日益广泛。然而,这些模型输出的语义关系往往难以与实际交通状况对应,导致其可解释性和可靠性受到质疑。为了解决这一问题,研究人员提出了一种基于多数据集的确定性谓词框架,旨在通过可测量的证据生成语义关系,并构建一个通用的谓词知识图谱(Predicate Knowledge Graph)。

技术亮点

  1. 多数据集接口设计:该框架使用特定于数据集的接口来恢复所需的场景信息,而谓词定义在 nuPlan 和 nuScenes 数据集之间保持不变,从而确保了语义关系的一致性。
  2. 谓词知识图谱(Predicate KG):通过构建一个通用的 Predicate KG,研究人员实现了对驾驶场景语义关系的系统化表示和验证。
  3. 定量语义验证:在 nuPlan 和 nuScenes 数据集上的 200 个场景中,该框架的语义验证宏 F1 分数分别达到 0.94 和 0.93,展示了其在语义一致性方面的优越性。
  4. LLaVA-OneVision-7B 模型测试:在九个 NuPlanQA 子任务中,Predicate KG 在七个任务中表现最佳,包括交通灯识别(从 53.2% 提高到 71.5%)、情境评估(从 76.2% 提高到 86.1%)和行动推荐(从 82.9% 提高到 89.0%)。

行业影响

该研究为自动驾驶系统中的语义理解和推理提供了新的技术路径。通过减少对视觉输入的依赖,Predicate KG 能够提升模型在复杂场景中的表现,并增强其可解释性。这对于自动驾驶汽车、智能交通系统以及相关领域的研究和应用具有重要意义。

开发者建议

  • 关注 Predicate KG 的应用:开发者可以尝试将 Predicate KG 集成到现有的自动驾驶系统中,以提升语义理解和推理能力。
  • 探索多数据集接口设计:研究人员在设计多数据集接口时,可以参考该框架的设计思路,以确保语义关系的一致性和可扩展性。
  • 利用 LLaVA-OneVision-7B 模型进行测试:开发者可以使用该模型对 Predicate KG 进行进一步测试和验证,以探索其在不同场景中的表现。

消息来源:ArXiv Machine Learning (cs.LG) (2026-09-29)

—— 完 ——

主题标签: #自动驾驶 #语义理解 #知识图谱 #视觉语言模型 #推理

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…