arXiv研究揭示：LLM在游戏中重复失败动作的负面反馈效应

摘要：arXiv的一项新研究探讨了大型语言模型（LLM）在游戏环境中对失败动作的反馈反应机制。研究发现，当LLM在游戏（如推箱子、四子棋、黑白棋）中执行失败动作时，记录该动作并重新请求会使模型更倾向于重复该失败动作，尤其在非法动作情况下表现明显，而对于导致失败的合法动作则影响较小。实验表明，这种负面反馈效应主要通过动作的表面形式影响模型行为，且不同模型表现各异。研究还提出，忽略动作描述的失败反馈可以保留模型的原始偏好，而‘禁止重复’指令对阻止非法动作无效。

---

研究背景与动机

在人工智能领域，LLM（大型语言模型）被广泛应用于各种决策任务中，包括游戏中的策略制定。然而，当LLM执行失败动作时，如何处理反馈信息是一个关键问题。本研究旨在探讨LLM在游戏环境中对失败动作的反馈反应机制。

研究方法

研究团队选择了推箱子（Sokoban）、四子棋（Connect Four）和黑白棋（Othello）作为测试环境。通过对正确动作进行扰动构建固定探测项，研究了记录失败动作对模型行为的影响。实验使用了8个指令微调模型，参数范围从135M到1.7B。

主要发现

1. 负面反馈效应：记录失败动作并重新请求会使模型更倾向于重复该动作，尤其在非法动作情况下表现明显。平均来看，模型重复失败动作的概率增加了1.38 nats每token。
2. 模型差异性：并非所有模型都表现出相同的负面反馈效应，部分模型在DPO（Direct Preference Optimization）阶段后消除了这种效应。
3. 失败描述的影响：忽略动作描述的失败反馈可以保留模型的原始偏好，而‘禁止重复’指令对阻止非法动作无效。
4. 解码策略的影响：贪心解码策略在重复失败动作中起到了关键作用，即使在禁止重复的情况下，仍有38%的失败动作被重复。

工程权衡与实测表现

• 训练成本与效率：研究发现，负面反馈效应主要影响小规模模型，而大规模模型在DPO阶段后表现更稳定。
• 应用场景：该研究结果对开发基于LLM的游戏AI具有重要指导意义，提示开发者需要谨慎处理失败动作的反馈信息。

开发者落地与部署建议

• 反馈机制设计：建议在LLM应用中避免直接记录失败动作的表面形式，而应采用更抽象的描述方式。
• 解码策略调整：考虑使用更复杂的解码策略，如束搜索（Beam Search），以减少重复失败动作的可能性。
• 模型选择：在资源允许的情况下，优先选择经过DPO优化的模型，以减少负面反馈效应的影响。

---

消息来源：ArXiv AI (cs.AI) (2026-10-23)

—— 完 ——

主题标签： #LLM 关注 #游戏AI 关注 #反馈机制 关注 #arXiv 关注 #DPO 关注