智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #LLM智能体 #个性化记忆 #基准测试 #金融AI #事件驱动

FinPerMA 基准发布:事件驱动的个性化记忆评测,揭示 LLM 智能体在金融场景中的记忆短板

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 3 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv 最新论文提出 FinPerMA,一个事件驱动的个性化记忆基准,用于评估 LLM 智能体在金融咨询等高风险场景中维护和更新用户长期画像的能力。该基准基于冻结的纵向投资者轨迹,结合理论驱动的冲击规则和受控 LLM 叙述生成测试数据,并设置 Post-Shock 检查点以隔离事件对用户模型的影响。实验覆盖 276 个用户画像、2994 个问题,七个前沿 LLM 和多种记忆配置均未饱和,最高总体准确率仅约 0.47。归因分析显示,基于摘要的记忆常丢失个性化偏好信号,简单检索反而更优,且冲击后差距扩大。该研究为个性化记忆系统的评估和改进提供了新视角。


概述

大型语言模型(LLM)智能体正越来越多地被用作金融咨询等高风险领域的个性化助手,然而,它们能否在长时间跨度内维护和更新个体化用户模型,仍是一个悬而未决的问题。现有的个性化记忆基准主要测试事实保留能力,或依赖约束较弱的模型生成轨迹,对事件驱动的偏好适应关注不足。为此,研究者提出了 FinPerMA,一个事件驱动的基准,用于评估智能体在冻结的纵向投资者轨迹上的个性化记忆能力。

核心贡献

  • 事件驱动设计:FinPerMA 通过结合确定性、理论驱动的冲击规则、受控 LLM 叙述和自动化质量筛选,生成测试数据,并设置 Post-Shock 检查点,以隔离智能体是否将重大事件整合进其持久用户模型。
  • 全面评估:在 276 个用户画像、2994 个问题上,对七个前沿 LLM 和最多七种记忆配置进行了系统评估,结果显示所有配置均远未饱和,最高总体准确率仅约 0.47,多项选择题准确率约 39%。
  • 归因分析:揭示了基于摘要的记忆往往保留事实细节,却丢失了个性化所需的偏好信号;简单检索反而能超越专门构建的记忆系统,且在冲击后差距进一步扩大。

技术亮点

  • 理论驱动的生成流程:利用金融理论中的冲击规则(如市场波动、政策变化)来模拟真实事件,确保测试数据的合理性和一致性。
  • Post-Shock 检查点:专门设计用于检测智能体是否在事件发生后更新了用户模型,这是现有基准未覆盖的关键维度。
  • 多配置对比:涵盖全上下文、摘要记忆、检索增强等多种记忆配置,提供了全面的性能图谱。

行业影响与开发者建议

  • 对个性化助手开发者:FinPerMA 提供了一个严格的评估工具,帮助开发者识别记忆系统的薄弱环节,尤其是在事件驱动的偏好适应方面。
  • 对记忆系统设计:研究结果表明,简单检索可能比复杂的摘要记忆更有效,开发者应重新审视记忆架构的取舍。
  • 对金融 AI 应用:该基准为金融咨询等高风险场景的 AI 智能体提供了可靠性验证手段,有助于推动实际部署。

结论

FinPerMA 填补了事件驱动个性化记忆评估的空白,揭示了当前 LLM 智能体在长期用户建模上的显著不足。该基准不仅为研究社区提供了新的测试平台,也为开发更健壮的个性化记忆系统指明了方向。


原始出处:arXiv:2608.04095


消息来源:ArXiv AI (cs.AI) (2026-08-06)

—— 完 ——

主题标签: #LLM智能体 #个性化记忆 #基准测试 #金融AI #事件驱动

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…