Agent-Editing World Model:革新大语言模型智能体的推理与决策机制
摘要:Agent-Editing World Model (AEWM) 是一种新型的世界模型,旨在提升大语言模型 (LLM) 智能体在复杂任务中的表现。AEWM 通过建模推理与行动如何影响未来任务进展,而非模拟工具响应,解决了现有方法中环境反馈重建的高熵问题。同时,AEWM 引入了 Action Judge 和 State Revision 机制,用于区分关键决策与噪声,并编辑推理-行动链中的噪声部分。EditAct 将这些能力与实际执行结合,显著改善了智能体的决策质量。在多个基准测试中,AEWM 及其变体 AEWM-RFT 表现出色,显著提升了智能体的任务完成效率和准确性。
背景与挑战
近年来,大语言模型 (LLM) 智能体在处理长时跨任务方面取得了显著进展。然而,现有方法通常依赖于预测环境观察结果,这在高熵、依赖于执行结果的工具响应场景中效果有限。此外,智能体容易受到任务状态污染的影响,即历史中未得到支持或过时的假设和计划会持续存在并扭曲后续决策。
Agent-Editing World Model (AEWM) 的创新
AEWM 通过以下方式革新了智能体的推理与决策机制:
- Action Judge:区分关键决策、探索性决策和噪声决策。
- State Revision:编辑来自同一观察历史的噪声推理-行动链。
- EditAct:将上述能力与实际执行结合,直接改变后续决策的基础状态,而非仅提供批评。
技术亮点
- 跨领域训练:AEWM 在搜索、终端和软件工程领域进行了中训练和有监督微调,展示了其广泛的适用性。
- 性能提升:在 Action Judge 基准测试中,AEWM 的宏 F1 得分达到 70.5%,比最强基线高出 10.6 个百分点。在六个基准测试和三个智能体骨干网络中,EditAct 平均得分提高了 3.2-6.7 个百分点。
- AEWM-RFT:在经过验证的 EditAct 轨迹上进行拒绝采样微调,AEWM-RFT 在三个领域的表现比 Self-RFT 提高了 2.2-2.6 个百分点,且无需在线 AEWM 指导。
行业影响与开发者建议
AEWM 的提出为 LLM 智能体在复杂任务中的表现提供了新的优化思路,尤其在以下方面具有重要意义:
- 任务执行效率:通过减少噪声决策和编辑推理-行动链,智能体能够更高效地完成任务。
- 决策质量提升:Action Judge 和 State Revision 机制有助于智能体做出更准确的决策。
- 广泛适用性:AEWM 的跨领域训练使其适用于多种应用场景,包括搜索、终端和软件工程。
开发者可以尝试将 AEWM 应用于智能体开发中,以提升其在复杂任务中的表现。同时,建议关注 AEWM-RFT 的进一步研究,以探索其在更多领域的潜力。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-23)
主题标签: #大语言模型 #智能体 #世界模型 #推理与决策 #AI研究
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区