开源大语言模型在重复囚徒困境中模拟人类合作行为的能力评估

摘要：本研究探讨了五种开源大语言模型（TII Falcon 7B Instruct、Google Gemma 7B、Meta Llama 3.1 8B Instruct、Microsoft Phi Mini MoE Instruct 和 Qwen 2.5 7B Instruct）在重复囚徒困境游戏中的表现，重点分析了模型在固定伙伴和随机伙伴两种情境下的合作率。研究发现，这些模型的合作行为与人类数据存在显著差异，尤其在随机伙伴情境下，模型的合作率普遍高于人类。尽管如此，研究表明开源大语言模型在模拟人类行为方面具有潜力，但目前尚无法完全替代真实人类参与者。

---

研究背景与动机

囚徒困境（Prisoner's Dilemma）作为研究人类决策与合作行为的基础框架，长期以来被广泛应用于社会科学领域。然而，经典经济学理论对人类行为的预测往往与实际观察结果不符。近年来，大语言模型（LLM）在模拟人类行为方面展现出一定潜力，但现有研究缺乏对模型记忆能力的系统性考察，以及与真实人类数据的对比分析。

研究方法

本研究选取了五种开源大语言模型：TII Falcon 7B Instruct、Google Gemma 7B、Meta Llama 3.1 8B Instruct、Microsoft Phi Mini MoE Instruct 和 Qwen 2.5 7B Instruct。在固定伙伴和随机伙伴两种情境下，模拟了重复囚徒困境游戏，并测量了模型在100轮游戏中的合作率。

主要发现

1. 合作率差异：在固定伙伴情境下，所有模型的合作率均高于人类数据；而在随机伙伴情境下，模型的合作率普遍超过80%，远高于人类的28.5%。
2. 模型表现异质性：Qwen-2.5-7B-Instruct 表现出较强的确定性倾向，而 Phi-mini-MoE-Instruct 则表现出更大的变异性，并在某些情况下短暂地接近了人类合作率。
3. 模型局限性：尽管开源大语言模型在模拟人类行为方面展现出一定潜力，但目前尚无法完全替代真实人类参与者。

工程权衡与挑战

1. 记忆机制的影响：模型在随机伙伴情境下的高合作率可能源于其对记忆的依赖性不足，导致其无法有效模拟人类在动态环境中的决策过程。
2. 模型规模与计算成本：更大规模的模型（如 Llama 3.1 8B Instruct）虽然在某些情况下表现更优，但计算成本也更高，如何在模型性能和资源消耗之间找到平衡是一个关键挑战。
3. 标准化评估框架的必要性：为了更准确地评估模型在模拟人类行为方面的能力，需要建立更完善的标准化评估框架，包括更丰富的实验场景和更细致的评估指标。

开发者建议

1. 模型选择：在需要模拟人类合作行为的应用中，建议开发者根据具体需求选择合适的模型，并结合实际数据进行微调。
2. 记忆机制优化：开发者可以考虑引入更复杂的记忆机制，如长短期记忆（LSTM）或注意力机制（Attention），以提升模型在动态环境中的表现。
3. 多场景测试：在将模型应用于实际场景之前，建议进行多场景、多轮次的测试，以全面评估模型的表现和局限性。

结论

开源大语言模型在模拟人类合作行为方面展现出一定潜力，但目前仍存在诸多挑战。未来研究应进一步探索模型记忆机制、优化模型架构，并建立更完善的评估框架，以提升模型在模拟人类行为方面的表现。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-20)

—— 完 ——

主题标签： #大语言模型 关注 #囚徒困境 关注 #行为模拟 关注 #开源模型 关注 #人工智能 关注