行为历史显著提升大语言模型合成角色的预测能力

摘要：一项由arXiv发布的新研究探讨了大语言模型（LLM）作为合成角色在预测个体决策中的有效性。研究表明，相比于仅依赖人口统计、个性特征或认知评分等描述性信息，基于行为历史的LLM合成角色能够更准确地预测个体的后续选择。在实验中，包含行为历史的模型在个体层面的预测准确度从7-12%提升至28%，并在所有17个不同人口统计群体中表现最佳。这项研究揭示了行为历史在提升LLM合成角色预测能力方面的关键作用，为未来在调查分析、用户建模等领域的应用提供了新的技术路径。

---

研究背景与动机

大语言模型（LLM）在模拟人类行为和决策方面展现出巨大潜力，尤其在构建合成角色以代表调查受访者时。然而，LLM合成角色的有效性取决于其能否准确再现个体的决策过程。本研究旨在探讨不同类型的信息对LLM合成角色预测能力的影响，特别是行为历史的作用。

研究方法

研究使用了包含845名美国成年人的两波面板数据，参与者完成了涵盖14种行为偏差的测量（如风险偏好、时间偏好、过度自信和推理能力）。研究设计了五种条件，逐步增加信息的丰富程度：

1. 无个人信息
2. 人口统计信息
3. 个性特征
4. 认知评分
5. 行为历史（受访者之前的调查选择）

在行为历史条件下，所有用于评估目标偏差的题目都被保留，而其他条件则使用描述性信息。

主要发现

1. 人口水平分析：在所有条件下，受访者平均偏差数量接近于人类平均水平（7.1-8.1个偏差 vs. 7.1个），但描述性信息仅恢复了53-67%的人类个体间差异，而行为历史则将其恢复至接近人类水平。
2. 个体水平分析：基于描述的合成角色仅实现了7-12%的人类测试-重测反应的知情度，而包含行为历史的模型将其提升至28%。
3. 群体差异：包含行为历史的条件在所有17个人口统计群体中均表现出最高的估计知情度，而描述性条件对某些群体几乎没有提供信息。
4. 教育与收入差异：合成反应在教育水平和收入相关的差异上表现出比人类反应更强的趋势。

技术亮点

• 行为历史的重要性：研究首次系统地证明了行为历史在提升LLM合成角色预测能力方面的关键作用。
• 多群体适用性：行为历史在所有人口统计群体中均表现出色，显示出其广泛的适用性。
• 数据驱动的方法：通过数据驱动的方法，LLM能够更好地捕捉个体的决策模式，从而提高预测准确性。

行业影响与开发者建议

1. 调查分析：在调查分析中，LLM合成角色可以更准确地模拟受访者的行为和决策，提高数据分析的可靠性。
2. 用户建模：在用户建模领域，行为历史的应用可以提升模型的预测能力，从而优化个性化推荐和用户体验。
3. AI伦理与隐私：在应用行为历史时，需要注意隐私保护和数据安全，确保用户信息不被滥用。
4. 模型优化：开发者应考虑在LLM训练中加入行为历史数据，以提升模型的预测性能。

---

消息来源：ArXiv AI (cs.AI) (2026-10-07)

—— 完 ——

主题标签： #大语言模型 关注 #行为历史 关注 #合成角色 关注 #预测能力 关注 #arXiv 关注