递归语义发散：提升大语言模型智能体行为一致性

摘要：本研究提出了一种名为递归语义发散（RSD）的新指标，用于评估大语言模型（LLM）智能体在执行任务时的行为一致性。RSD通过测量智能体在不同独立执行路径上的语义分歧，捕捉逻辑不一致性并提供逐轮一致性评分。通过将RSD作为额外奖励信号进行微调，实验表明该方法显著降低了任务进展的变异率，同时提升了模型在多个基准测试中的性能表现，为提升LLM智能体的部署可靠性提供了新的解决方案。

---

1. 研究背景与动机

大语言模型（LLM）智能体在工具使用中常表现出行为不一致性，例如在不同执行中调用不同工具、产生矛盾输出或采取不同策略。这种不一致性会随着时间累积，削弱智能体的部署可靠性。现有的评估指标主要关注任务完成度，而无法捕捉智能体行为的一致性。

2. 递归语义发散（RSD）方法

RSD是一种基于强化学习中双模拟度量的无监督轨迹级一致性指标。它通过自然语言推理检测逻辑不一致性，测量智能体从同一状态出发的两个独立执行路径之间的预期累积语义分歧。RSD递归地定义在未来状态上，并通过在独立执行路径上训练的神经网络进行近似。该指标能够估计当前状态下的未来分歧，为每个轮次提供一致性评分，而无需完整的执行轨迹。

3. 实验与结果

在tau2-bench和toolsandbox基准测试中，RSD作为奖励信号进行微调后，任务进展的变异率分别从132%降至91%和从90%降至44%。此外，RSD还提升了模型在多个基准测试中的性能表现，且训练过程中无需真实标签数据。

4. 技术机制剖析

• 核心机制：RSD通过捕捉智能体在不同执行路径上的语义分歧，量化其行为一致性。
• 实现方式：利用自然语言推理模型检测逻辑不一致性，并通过神经网络近似未来状态的发散程度。
• 优势：无需真实标签数据，能够在训练过程中动态调整一致性评分。
• 局限性：对计算资源的需求较高，尤其是在处理长轨迹时。

5. 工程权衡与部署建议

• 计算开销：RSD的计算复杂度较高，建议在资源充足的训练环境中使用。
• 适用场景：适用于对行为一致性要求较高的任务，如对话系统、决策智能体等。
• 优化策略：可以通过剪枝技术或近似方法降低计算开销，同时保持评估精度。

6. 结论

RSD提供了一种新的评估智能体行为一致性的方法，通过降低任务进展的变异率并提升模型性能，展示了其在提升LLM智能体部署可靠性方面的潜力。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-27)

—— 完 ——

主题标签： #大语言模型 关注 #一致性评估 关注 #强化学习 关注 #智能体 关注 #行为一致性 关注