arXiv提出反思性提示优化方法：提升多智能体研究中的迁移学习能力

摘要：arXiv发布了一种名为反思性提示进化（GEPA）的新方法，用于优化多智能体深度研究智能体的系统提示。该方法通过主题不重叠的分割评估，显著提升了模型在未见主题上的引用奖励，从0.702提升至0.781，增幅达0.079。研究表明，提示优化中的迁移增益并非源于记忆化，而是由于分解的逐维反馈机制。此外，手写版本的成功复现进一步验证了该方法的有效性。GEPA为提示优化提供了更可信的评估框架，强调了多主题分割和消融分析的重要性。

---

1. 引言

反思性提示优化（GEPA）是一种针对多智能体深度研究智能体的提示优化方法，旨在解决传统强化学习在事实任务中的不足。GEPA通过优化系统提示，提升模型在未见主题上的表现，同时避免记忆化问题。

2. 方法与机制

GEPA的核心机制包括：

• 主题不重叠分割：在训练集、验证集和测试集之间不共享任何主题，确保评估的可靠性。
• 逐维反馈分解：将反馈分解为多个维度，而非单一的标量奖励，以捕捉更细粒度的信息。
• 消融分析：通过控制性消融实验，验证记忆化内容对奖励的贡献，结果表明记忆化内容对奖励无显著影响。

3. 实验与结果

在多智能体深度研究智能体的实验中，GEPA在未见主题上的引用奖励从0.702提升至0.781，增幅达0.079，且该增益在三个随机种子中均得到复现。消融实验表明，记忆化内容对奖励无贡献，验证了迁移增益的真实性。

4. 工程权衡与挑战

• 优势：GEPA通过分解逐维反馈机制，提供了更细粒度的优化方向，避免了单一标量奖励的局限性。
• 挑战：在复杂任务中，逐维反馈的维度选择和权重分配仍需进一步研究。此外，消融分析的复杂性可能增加计算成本。

5. 开发者建议

• 提示优化评估：建议在多主题分割和消融分析的基础上进行提示优化评估，以确保迁移增益的可靠性。
• 模型部署：在部署过程中，应关注逐维反馈机制的实现，以充分利用GEPA的优势。

6. 结论

GEPA为提示优化提供了新的思路，强调了多主题分割和逐维反馈的重要性。其在多智能体深度研究智能体中的应用展示了其在提升迁移学习能力方面的巨大潜力。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-12)

—— 完 ——

主题标签： #反思性提示优化 关注 #多智能体研究 关注 #迁移学习 关注 #arXiv 关注 #深度学习 关注