arXiv研究：合成角色预测真实受众反应效果不佳，无角色基线表现更优

摘要：一项由arXiv发布的研究探讨了使用大语言模型（LLM）作为“合成角色”预测受众对文案反应的有效性。研究利用Upworthy Research Archive的真实点击率数据，对比了基于十种角色配置的角色模拟模型与无角色基线模型的表现。结果显示，无角色基线模型在预测受众点击行为方面显著优于角色模拟模型，其肯德尔相关系数（Kendall τ）为0.361，排名第一准确率为49.2%，而角色模拟模型的肯德尔相关系数仅为0.084，排名第一准确率为34.6%。研究结果表明，角色模拟不仅未能提升预测准确性，反而引入了偏差和噪声，削弱了模型的预测能力。这一发现对依赖角色模拟进行市场预测的应用场景具有重要启示。

---

研究背景与动机

随着大语言模型（LLM）的快速发展，市场营销领域越来越多地使用LLM作为“合成角色”来预测受众对文案的反应。这种方法基于一个假设：经过角色配置训练的LLM能够模拟真实人类的行为模式。然而，这种假设的有效性尚未得到充分验证。

研究方法

研究团队利用Upworthy Research Archive中的数千个真实点击率数据进行了一项模拟到真实的有效性研究。具体来说，他们构建了一个基于真实受众人口统计数据的十种角色配置的角色模拟模型，并与一个无角色基线模型进行了对比。无角色基线模型直接询问模型一个典型读者点击的可能性。

主要发现

1. 真实数据的可靠性是主要限制因素：大多数A/B测试没有统计上显著的优胜者，因此有效性只能在可靠子集（n=399）上进行测量。
2. 角色模拟降低预测有效性：无角色基线模型在预测受众点击行为方面显著优于角色模拟模型，其肯德尔相关系数（Kendall τ）为0.361，排名第一准确率为49.2%，而角色模拟模型的肯德尔相关系数仅为0.084，排名第一准确率为34.6%。

结论与启示

研究结果表明，角色模拟不仅未能提升预测准确性，反而引入了偏差和噪声，削弱了模型的预测能力。这一发现对依赖角色模拟进行市场预测的应用场景具有重要启示：

• 无角色基线模型更有效：在预测总体受众参与度时，直接使用LLM进行排名比角色模拟更有效。
• 避免角色模拟的偏差：角色模拟可能会引入不必要的偏差和噪声，影响预测的准确性。

研究结果在三个独立的Upworthy数据拆分中得到了验证，并在不同领域的新闻数据集上保持了方向一致性。此外，研究还测试了不同种子、提示措辞和模型选择，结果均表现出相同的趋势。

开发者建议

• 优先考虑无角色基线模型：在需要预测受众反应的场景中，建议优先考虑使用无角色基线模型。
• 谨慎使用角色模拟：如果必须使用角色模拟，应进行充分的验证和测试，以确保其有效性。
• 关注数据质量：真实数据的可靠性是预测准确性的关键，应尽可能使用高质量的基准数据进行训练和评估。

---

消息来源：ArXiv AI (cs.AI) (2026-09-23)

—— 完 ——

主题标签： #大语言模型 #市场营销 #预测模型 #arXiv #受众分析