FinEvolveKG用分区提示进化提升金融图谱构建可审计性

摘要：FinEvolveKG 面向 SEC 10-K 金融知识图谱构建，将提示词拆分为稳定的通用规则块与独立版本化的人格策略块，并机械限制 GEPA 只能在指定块内修改。系统在按股票代码隔离的数据集上评估五种变异范围，三种子平均结果显示，完整双阶段方案较冻结提示提升 19.4%—30.9%，较无约束整段优化提升 2.2%—6.4%。其关键价值不是单纯追求提示词得分，而是让每次优化具备清晰边界、可追溯版本和相对稳定的跨分布表现；不过，论文尚未证明性能增益必然由边界约束本身造成，且结果仍需独立复现。

---

核心思路：把提示词当作可演化的工程资产

FinEvolveKG 没有直接让 GEPA 优化一段包含全部规则的单体提示，而是将提示拆成两个职责明确的区域：

• 通用块（general block）：承载实体 grounding、类型约束、时间关系和基础图谱质量规则；
• 人格策略块（persona policy block）：承载不同研究角色的关注点、事实模式和关系偏好。

优化器只能修改人格策略块，通用块在整个 persona adaptation 阶段保持字节级不变，并与人格策略块分别版本化。这相当于把代码变更限制在指定模块：即使优化器生成错误指令，也不会静默改写全局本体、时间语义或实体对齐规则。

双目标函数同时衡量通用时序知识图谱质量，以及人格相关事实、motif 和多跳连通性。其目的不是为某个角色建立完全独立的数据孤岛，而是在共享的 SEC 10-K 基础上复用同一套基础规则，再通过受控策略适配不同分析需求。

机制拆解：从不可控提示搜索转向受控编辑

设完整提示为：

[ P = P_g \oplus P_p ]

其中，(P_g) 是通用块，(P_p) 是人格策略块。FinEvolveKG 允许优化器生成候选 (\Delta P_p)，但强制更新后的提示满足：

[ P_g' = P_g, \qquad P' = P_g \oplus (P_p + \Delta P_p) ]

这种设计的价值主要在工程治理，而非增加新的模型结构。首先，通用规则不会随 persona 优化发生漂移，企业可以独立审批和回滚人格策略。其次，每次变更都有清晰边界，审计者只需比较独立版本，而不必从一段自然语言提示中推断究竟修改了什么。再次，多个角色可共享同一套 grounding 与 temporal rules，避免形成彼此冲突的图谱分支。

不过，“机械边界”只保证修改位置可控，不保证修改内容正确。GEPA 仍可能为特定 persona 引入选择性取证、过度抽取或错误关联。生产系统仍需对生成三元组执行 schema 校验、实体归一化、时间一致性检查和人工抽检。论文中的 SME 审计支持将生成三元组作为参考真值，但这并不等于自动流水线无需治理。

评测设计：控制泄漏，但仍属于有限范围实验

实验比较五种 mutation scope，在按股票代码互斥的 10-K 划分上测试三种 persona；persona-conditioned 的 v3、v4、v5 均使用三个随机种子。v4 是完整的双阶段 block-constrained workflow，v5 则允许优化器编辑整段提示。

三种子平均结果中，v4 相对冻结提示 v1 提升 19.4%—30.9%，相对无约束整段优化 v5 提升 2.2%—6.4%。v4 在两个目标分量上均领先 v5，并赢得全部九组配对种子比较，且各 persona 的种子方差最低。未经额外优化时，v4 在全部已测 OOD 变化上也超过 v5。

按 ticker 隔离数据可以降低公司层面的实体和事件泄漏风险，也是该论文比随机划分 SEC 文档更可信的部分。但仍需注意几个限制：

1. 三种 persona 和有限股票代码不足以代表投行、资管、做空研究、合规审计等全部角色；
2. “两个目标分量”很可能共享底层信息与模型，摘要也未给出归一化方式、显著性检验或绝对分数；
3. v4 与 v5 只相差 2.2%—6.4%，必须结合置信区间和重复实验判断实际稳定性；
4. 论文明确没有把增益因果归结为边界约束，改进也可能来自额外优化预算、搜索空间缩减或任务结构差异。

因此，结果支持“受控提示演化是更可审计的工程方案”，但尚不足以证明它对所有 LLM、提示优化器和金融文档都优于无约束搜索。

人工审计：提升可读性，不等于替代验证

一项 SME 审计支持把生成三元组作为 ground truth；在盲审的对比增强判断中，两名 SME 有 70.1% 的情况偏好 v4，而非 v5。

这类审计的价值在于检查自动指标容易遗漏的问题，例如时间关系是否符合财务语境、实体与事件是否正确连接，以及人格化策略是否真的服务于研究角色，而不是只优化了形式上的多跳关系。但 70.1% 不是一致同意率，摘要也未披露样本量、置信区间、专家分歧处理和协议细节。两位 SME 的判断适合作为补充证据，不能替代更广泛的标注测试。

部署建议：把提示版本纳入知识治理

FinEvolveKG 对金融机构的直接启示是：人格化不应意味着复制整套提示，而应意味着共享稳定底座、隔离可变策略。落地时可采用以下结构：

• 将通用块纳入代码仓管理，要求法务、风险和数据团队审批；
• 为人格策略块保存 prompt diff、GEPA 轨迹、目标分数和回滚点；
• 在合并前执行实体、时间、类型及来源文本的自动校验；
• 每次发布同时比较 in-distribution 与 OOD 表现，避免只优化当前角色；
• 对高风险三元组保留原始 10-K 证据链和人工复核队列。

系统不应把 persona policy 的提高视为事实更真实的证明。优化器可能更善于生成符合角色偏好的图谱，而非更完整或更正确的事实。稳健部署仍需独立标注集、时间切分测试、消融实验以及跨 LLM 复现。

工程权衡与结论

FinEvolveKG 的突破不在于提出新的模型架构，而在于重新定义提示优化的修改边界：牺牲一部分无约束搜索空间，换取规则稳定性、变更可追溯性和跨 persona 共享。该权衡在金融合规、持续学习、代理工作流等需要审计的环境尤其有价值。

它的局限同样清晰：绝对增益、外部泛化、专家审计协议和额外优化成本仍不充分；较窄搜索空间究竟带来鲁棒性，还是掩盖了无约束优化器的预算不匹配，需要通过等算力、等调用次数的消融进一步回答。总体而言，这是一项实用导向强、可治理性高的提示工程研究，而不是已经被证明具有普适优势的自主进化方法。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-09)

—— 完 ——

主题标签： #FinEvolveKG 关注 #GEPA 关注 #提示词优化 关注 #金融知识图谱 关注 #SEC 10-K 关注