PRaVaSS让视觉语言模型保留不确定性状态，提升智能体规划鲁棒性

摘要：研究指出，视觉语言模型在状态估计中通常把多个候选结果压缩为单一“最可能答案”，一旦感知错误，后续规划便可能不安全或不可行。论文提出三层因子化信念系统，并利用输出层Token概率构造达到指定置信质量阈值的最小信念集MBSθ。核心算法PRaVaSS可搜索概率排序的有效状态，在无约束情形下提供正确性保证与多项式复杂度。方法已在视觉语言模型状态估计和任务规划管线中验证，可减少错误确定性带来的决策风险，同时避免维护完整符号状态分布的高昂成本。

---

不再把视觉语言模型的猜测当作事实

PRaVaSS解决的是智能体状态估计中的一个具体工程缺口：视觉语言模型通常会输出多个带有概率差异的候选状态，但规划器往往只保留最高分结果，并将它当作确定真值。一旦该结果受遮挡、视角变化或提示歧义影响而错误，后续动作序列可能直接变得不可执行，甚至产生安全风险。

另一条路线是保留完整符号状态分布，但它在状态空间较小时尚可接受，状态数量上升后，存储、联合概率计算与搜索成本都会迅速失控。论文采用中间路线：只保留达到目标置信质量所需的最小状态集合，即θ置信最小信念集MBSθ。

三层因子化信念如何保留不确定性

方法的核心不是一个新的视觉语言模型，而是一套位于预训练感知模型与规划器之间的状态表示层。系统从输出层Token分布、逐特征预测和任务级约束中提取信息，以三层因子化结构近似各符号状态的概率，同时避免显式保存所有状态组合。

这种设计利用了三个关键事实：

1. Token概率并非最终标签概率。 一个状态标签通常由多个Token或特征共同决定，因此不能直接把某个Token的归一化概率当作整个状态的概率。
2. 特征之间并不总是独立。 三层结构显式处理逐特征预测、组合约束和任务可行性，使概率近似不必退化为完整联合分布。
3. 规划器需要的是有效状态。 搜索时可以结合任务约束排除不可行状态，而不是先生成所有候选状态再统一过滤。

工程上，这一层位于VLM之后、规划器之前。已有感知模型无需重新训练，只要能够暴露用于状态估计的输出概率或可推导的逐特征预测，就能接入PRaVaSS。

PRaVaSS如何搜索最小信念集

PRaVaSS即Probability-Ranked Valid State Search。算法利用因子化信念系统的特殊结构，按照概率顺序搜索有效状态，并持续累积已选状态的概率质量，直到达到阈值θ。

若定义某个状态集合B的累计概率质量为：

[ M(B)=\sum_{s\in B}p(s), ]

那么MBSθ需要解决的是在满足M(B)≥θ的前提下最小化状态数量|B|。这与简单保留Top-k状态不同：Top-k只按局部概率排序，而PRaVaSS还考虑状态与任务约束的有效性，并可围绕概率排名结构构造具有正确性保证的搜索过程。论文声称，该算法在无约束情形下具有多项式复杂度，避免了精确求解一般最小置信集时可能出现的组合爆炸。

这里仍需区分两个层面的“最小”。最小信念集针对的是达到给定概率质量所需的状态规模，并不自动保证这些概率估计无偏，也不保证最终规划结果最优。若模型输出概率本身发生过度自信，较小信念集也可能遗漏低概率但关键的状态。

正确性保证与现实中的工程权衡

论文的主要理论价值在于为PRaVaSS的搜索结果提供正确性保证，而非依赖经验式Top-k截断。但理论保证的边界值得工程团队重点检查：

• 多项式复杂度有前提。 “无约束情形”意味着部分复杂任务约束未进入核心复杂度保证，约束加入后最坏情况开销仍需单独分析。
• 概率近似会传播误差。 三层结构降低了联合分布的表示成本，但逐特征近似和任务约束传播可能引入系统性偏差。
• 置信阈值不等于风险阈值。 θ控制的是模型内部概率质量，不是实际任务成功率或安全概率。高质量模型、低质量模型需要不同的校准方式。
• 更多候选状态会增加规划成本。 提高θ可保留更丰富的状态空间，却会扩大规划器的搜索分支和调用延迟。
• Token概率需要校准。 生成式模型的输出概率常受长度归一化、采样策略、词义多义性和提示格式影响，直接使用前应做温度缩放或保序校准。

因此，该方法提升的是状态表示的鲁棒性，而不是直接提升VLM的视觉识别准确率。论文还声称MBSθ的最小性让智能体只考虑最可能状态；这一取舍减少了无效规划，但也意味着被概率模型系统性低估的状态可能被排除。

下游规划实验说明了什么

作者以VLM作为状态估计骨干，验证方法的理论性质、随问题规模变化的扩展性，以及接入任务规划管线后的决策改进。最值得关注的不是单一任务成功率，而是评测链条：先从概率化感知输出构造信念集，再让规划器在多个有效状态之间决策。

这为不确定感知提供了比“生成多个答案后投票”更结构化的接口。多数投票只能选出一个终态，而MBSθ允许规划器显式处理“状态A概率最高、状态B虽较低但可能改变动作可行性”的情况。

不过，公开摘要没有给出完整实验规模、具体任务成功率、基线设置、置信阈值扫描、端到端延迟及跨VLM泛化结果。因此，目前更适合将其视为具有理论依据的规划前处理框架，而不是已经完成生产验证的通用状态估计器。

开发者落地建议

1. 先验证概率质量。 对VLM输出Token概率做温度缩放或保序校准，检查累积概率与真实状态正确率是否近似单调，否则MBSθ只具有形式上的置信语义。
2. 按任务风险设置θ。 日常操作可使用较小阈值以控制规划延迟；涉及安全或不可逆动作时，应保留更多候选状态，并增加显式的人工确认或安全约束。
3. 保留状态有效性与任务约束的解耦接口。 让VLM负责候选和概率，让领域规则负责过滤不可行状态，避免让语言模型承担全部符号验证。
4. 同时评估准确率、覆盖率与规划成本。 除任务成功率外，还应测量错误状态被纳入信念集的比例、阈值与召回率的关系，以及额外候选带来的规划延迟。
5. 验证校准漂移。 摄像头位置、光照、领域和提示模板变化都可能改变Token概率分布，线上应持续监控累积概率的可靠性。

PRaVaSS的价值在于，它把预训练感知模型已经产生但常被丢弃的概率信息转化为规划器可用的符号不确定性接口。它没有消除VLM的幻觉或误识别，而是承认这些错误会真实发生，并通过可计算的最小信念集限制其决策影响。

---

消息来源：ArXiv AI (cs.AI) (2026-11-13)

—— 完 ——

主题标签： #视觉语言模型 关注 #状态估计 关注 #不确定性推理 关注 #任务规划 关注 #最小信念集 关注