Hugging Face发布DeLoop：减少大语言模型智能体重复动作的新方法

摘要：Hugging Face提出了一种名为DeLoop的新方法，用于减少大语言模型智能体在执行长任务时出现的重复动作问题。DeLoop通过自监督训练，利用智能体自身的执行轨迹作为监督信号，将重复动作作为负样本，非重复动作作为正样本，通过直接偏好优化进行学习。在CodeGym基准测试中，DeLoop显著减少了Qwen3-8B和Qwen3-32B模型中的重复动作数量，同时降低了任务所需的步骤数，并提升了任务成功率。该方法无需依赖任务奖励、金标答案或LLM裁判，展示了其在资源高效利用和任务执行效率方面的潜力。

---

技术机制剖析

DeLoop的核心机制基于自监督学习，通过智能体自身的执行轨迹来识别和减少重复动作。其主要步骤如下：

1. 重复动作识别：智能体在执行任务时，会记录其动作轨迹。当检测到重复的动作序列时，将其标记为负样本。
2. 正样本选择：在重复动作之后首次出现的非重复动作被标记为正样本。
3. 直接偏好优化：通过对比正负样本，DeLoop利用直接偏好优化算法进行训练，使智能体能够学习到避免重复动作的策略。

这种方法的优势在于无需依赖外部的奖励信号、金标答案或LLM裁判，完全依赖于智能体自身的执行数据，从而降低了训练成本和复杂性。

工程权衡与实测表现

在CodeGym基准测试中，DeLoop在Qwen3-8B和Qwen3-32B模型上均表现出色：

• 重复动作减少：对于Qwen3-8B，重复动作的比例从57.3%降低到6.1%。
• 步骤数减少：每个任务的步骤数减少到原来的约三分之一。
• 任务成功率提升：对于Qwen3-32B，任务成功率从37.7%提升到44.8%。

这些结果表明，DeLoop在减少重复动作的同时，还能保持甚至提升任务的成功率。这对于需要长时间运行的任务尤其重要，因为它可以显著降低计算资源的消耗。

开发者落地与部署建议

对于开发者来说，DeLoop提供了一种简单而有效的方法来提升智能体的执行效率。以下是一些部署建议：

1. 集成到现有系统：DeLoop可以作为一个独立的模块集成到现有的智能体系统中，无需对现有架构进行大幅修改。
2. 自定义优化：根据具体的任务需求，开发者可以调整DeLoop的训练参数，以获得最佳的性能表现。
3. 结合其他技术：DeLoop可以与其他优化技术（如剪枝、量化等）结合使用，以进一步提升智能体的效率。

结论

DeLoop展示了自监督学习在减少智能体重复动作方面的巨大潜力。它不仅能提升任务执行效率，还能降低计算资源的消耗，为大语言模型智能体的实际应用提供了新的思路。

---

消息来源：Hugging Face Daily Papers (2026-10-14)

—— 完 ——

主题标签： #Hugging Face 关注 #大语言模型 关注 #自监督学习 关注 #智能体优化 关注