MatrAIx:83亿人格模拟用户基础设施,革新AI系统与数字产品评估
摘要:arXiv 最新论文提出 MatrAIx,一个大规模模拟用户评估基础设施,包含 83 亿人格记录(Persona 8B)、四个交互环境(Survey、AI Chatbot、Web、App)和 1010 个应用任务。研究团队在 18,189 次评估试验中,利用 Claude Opus 4.8、GPT 5.5 和 Claude Haiku 4.5 驱动人格智能体,验证了其在不同背景下的决策和偏好差异。控制研究表明,人格遵循率达 91.5%,为 AI 系统和数字产品的可扩展、多样化评估提供了新范式。
概述
arXiv 最新论文提出 MatrAIx,一个大规模模拟用户评估基础设施,旨在解决 AI 系统和数字产品评估中成本高、速度慢、难以扩展的问题。MatrAIx 通过 83 亿人格记录和多种交互环境,模拟真实用户的多样性和交互行为,为开发者提供端到端的评估方案。
核心组件
Persona 8B:83 亿人格记录
- 包含 83 亿条人格记录,由 1,290 个分类维度表示。
- 记录通过依赖图采样(保留属性相关性)或基于人类撰写的档案生成。
- 发布约 100 万条质量过滤的核心集,包括 599,847 条人类基础记录和 400,000 条合成记录。
MatrAIx Playground:四个交互环境
- Survey:问卷调查环境,用于收集用户偏好和意见。
- AI Chatbot:与 AI 聊天机器人交互,评估对话体验。
- Web:网页交互环境,测试网站可用性和用户行为。
- App:移动应用环境,评估应用功能和用户体验。
应用任务
- 提供 1,010 个应用任务,覆盖 25 个以上领域,包括商务、软件、金融和医疗。
实验与验证
研究团队在八个代表性任务上进行了 18,189 次评估试验,使用三个 LLM(Claude Opus 4.8、GPT 5.5、Claude Haiku 4.5)驱动人格智能体。结果捕捉了不同人格背景下的决策和偏好差异,例如价格上调后的犹豫、AI 助手失败后的继续意愿、延迟容忍度等。
验证研究
- 控制研究:400 次试验评估十种行为属性的人格遵循度,366 次(91.5%)正确表达或抑制了声明行为。
- 提取质量评估:人类和 LLM 评审员评估了人类基础人格的提取质量。
技术亮点与影响
- 可扩展性:83 亿人格记录提供了前所未有的用户多样性覆盖。
- 交互性:四个环境支持真实交互,超越传统离线评估。
- 实用性:覆盖多领域任务,可直接用于产品迭代和 AI 系统测试。
MatrAIx 为 AI 系统和数字产品的评估提供了新范式,有望降低评估成本、提高评估效率,并推动以用户为中心的 AI 开发。
开发者建议
- 利用 MatrAIx 在开发早期进行大规模用户测试,快速迭代产品。
- 结合人格多样性,识别不同用户群体的需求差异。
- 将 MatrAIx 集成到 CI/CD 流程中,实现持续评估。
出处
原文链接:https://arxiv.org/abs/2608.04205
—— 完 ——主题标签: #MatrAIx #模拟用户 #评估基础设施 #人格智能体 #LLM
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区