FINCOSMOS实测金融智能体：150次会话无一通过可信度审查

摘要：FINCOSMOS提出面向开放网络金融智能体的评测范式：系统不直接提供数据，而由智能体自行搜集数据、识别用户隐藏策略、构造时点一致的回测，并提交可复核结果。评分不依赖标准答案，而是程序化验证时间穿越、重新计算指标并核对策略规格，最终辅以用户确认和15项否决检查。实验覆盖四个编程智能体及一个无工具模型共150次会话，结果无一通过；即使模拟用户已签字认可，仍有程序检查失败，人类专家将88.33%的失败归因于智能体。

---

为什么金融智能体评测不能只看最终报告

FINCOSMOS 将金融智能体的评测重点从“答案像不像”转向“结果能否被独立验证”。在金融任务中，智能体可能从开放网页获取数据，同时误解用户未明说的投资策略，或者在回测中引入未来函数。即使最终报告语言流畅、指标完整，它仍可能是错误决策的精致包装。

传统基准通常会固定任务、数据或时间线中的至少一部分，从而提前排除真实部署中的关键风险。FINCOSMOS 刻意保留三类开放变量：数据来自 Web、策略由用户隐性持有、结果正确性依赖严格的时间边界。

评测机制：隐藏策略、程序验收与否决检查

该框架使用一个合成语法生成器构造隐藏策略，再由模拟用户掌握策略实现。智能体需要主动询问用户以补齐策略细节，而不是直接获得完整规格或现成数据集。

一次合格运行至少要完成以下闭环：

1. 从开放网络获取任务所需的市场或公司数据；
2. 根据用户反馈重建具体策略，而不是套用默认投资逻辑；
3. 设置明确的数据截止点，防止回测读取未来信息；
4. 生成可执行回测并提交结果；
5. 接受程序对时间一致性、策略匹配和各项指标的重新计算。

FINCOSMOS 不要求为每个任务预制标准答案。程序化验证器根据任务的时点规则检查回测，复算智能体报告的收益、风险及其他指标，再将实际策略与隐藏规格进行比对。一次运行只有在模拟用户满意且 15 项否决检查全部通过时才会被接受。换言之，用户确认只是必要条件，不能覆盖数据泄漏、指标不一致或策略偏离等硬错误。

实验结果：流畅报告仍可能无法通过审计

研究在 150 次会话中测试了四个编程智能体和一个无法调用工具的模型，结果没有任何一次会话被正式接受。更值得注意的是，模拟用户已经签字认可的会话仍全部至少触发一项程序检查失败，说明自然语言满意度不能替代可执行审计。

智能体只主动指出约 54%—64% 尚未获知的关键细节，意味着它们经常在需求不完整时继续执行，并把隐含假设包装为确定结论。人类专家进一步将 88.33% 的失败归因于智能体自身，其余部分才更多涉及模拟用户、数据环境或任务设置。

实验还揭示了反馈闭环的作用：一个具备持久记忆的智能体在接收 FINCOSMOS 反馈后，最终学会了全部十项任务。这说明问题并非仅是基础模型缺少金融知识，而是当前智能体缺少稳定的缺陷归因、经验保存与任务级纠错机制。

工程价值：把金融智能体接入可审计执行层

FINCOSMOS 的主要工程贡献，是把金融智能体评测从文本偏好判断推进到可执行、可拒绝的验证链。对于研究团队和平台方，可将其改造为以下门禁流程：

• 数据血缘检查：记录每次网页抓取的时间戳、来源和字段变换；
• 时间旅行检测：阻止回测访问数据截止点之后的信息；
• 指标重算：在沙箱内重新运行策略代码，而不是信任模型生成的指标；
• 规格一致性检查：比较隐藏策略、用户确认记录与实际执行逻辑；
• 否决式验收：对数据泄漏、策略替换和不可复现结果实行一票否决；
• 持久化经验：把失败原因写成可检索的策略级记忆，而不是只保存最终答案。

该思路尤其适合接入研究助理、财务分析代理和自动化投研流水线。模型负责提出策略、搜集材料与生成代码，确定性程序负责约束行为，两者职责分离后，模型再强的“说服力”也无法绕过数据与时间审计。

局限与后续验证

结果仍需在更多模型、真实金融网站和更长时间跨度上复现。当前框架依赖模拟用户与合成策略，隐藏策略的覆盖范围可能影响结论；网页数据还会受到动态页面、版权、站点变化和供应商条款限制。

此外，15 项否决检查的阈值与误报率尚未充分披露，程序验证器自身也可能遗漏隐蔽的数据泄漏或策略解释歧义。持久记忆“学会十项任务”的结果也需要区分训练集内记忆、提示级适应与真正的跨任务泛化。

尽管如此，FINCOSMOS 给出了比静态问答基准更贴近生产环境的验证方向：金融智能体必须同时证明数据可信、时间正确、策略忠实、指标可复现，任何一环失效，都不能仅凭用户认可或模型自述通过验收。

---

消息来源：Hugging Face Daily Papers (2026-11-05)

—— 完 ——

主题标签： #金融智能体 关注 #开放世界评测 关注 #可验证回测 关注 #智能体审计 关注 #持久记忆 关注