RLPE：利用强化学习优化大语言模型提示生成

摘要：RLPE（Reinforcement Learned Prompt Engineering）是一种通过强化学习优化大语言模型（LLM）提示生成的新方法。该方法通过分析任务模型的执行轨迹，生成针对性提示以解决任务中的失败模式。RLPE生成的提示无需在推理时与任务模型并行运行，降低了计算开销，并兼容闭源模型。在多个基准测试中，RLPE训练的9B参数模型在提示生成质量上超越了现有的前沿模型和优化器，展现出强大的泛化能力。

---

技术机制剖析

RLPE的核心机制是通过强化学习训练一个模型，使其能够分析任务模型的执行轨迹并生成有效的提示。具体来说，RLPE模型通过以下步骤实现提示优化：

1. 轨迹分析：RLPE模型首先分析任务模型的执行轨迹，识别其中的失败模式和潜在改进点。
2. 提示生成：基于分析结果，RLPE模型生成一个针对特定任务的提示，旨在解决已识别的失败模式。
3. 强化学习训练：RLPE模型通过强化学习进行训练，奖励机制严格基于提示在任务模型上的表现，从而确保提示的有效性。
4. 提示复用：生成的提示在任务执行过程中被复用，无需在推理时与任务模型并行运行，降低了计算开销。

工程权衡与实测表现

RLPE在多个方面展现了显著优势：

• 计算效率：由于提示生成过程与任务模型分离，RLPE避免了推理时的额外计算开销。
• 模型兼容性：RLPE仅需查询访问任务模型，因此兼容闭源模型。
• 泛化能力：RLPE训练的模型在未见过的任务和模型上表现出色，展示了强大的泛化能力。

在Enigmata、BIG-Bench Extra Hard和PlanBench等基准测试中，RLPE训练的9B参数模型在2/3的测试中超越了现有的前沿模型（如gpt-5.6-sol和claude-opus-5）和优化器（如GEPA和TextGrad）。此外，RLPE模型在未明确训练迭代提示的情况下，展现出与前沿模型相匹配的迭代能力，并在第四个基准测试中与claude-opus-5表现相当。

开发者落地与部署建议

RLPE为开发者提供了一种高效、灵活的提示生成方法，特别适用于以下场景：

• 复杂任务优化：对于需要精细化提示的任务，RLPE能够自动生成针对性提示，节省人工编写时间。
• 闭源模型适配：RLPE无需访问任务模型的内部结构，使其在处理闭源模型时具有独特优势。
• 多模型协作：RLPE训练的模型可以跨不同模型家族使用，提升了提示生成的可复用性和灵活性。

建议开发者结合具体任务需求，评估RLPE的适用性，并进行充分的实验验证。同时，RLPE的训练过程需要大量的计算资源，开发者应考虑硬件成本和训练时间。

---

消息来源：ArXiv AI (cs.AI) (2026-10-15)

—— 完 ——

主题标签： #RLPE 关注 #强化学习 关注 #大语言模型 关注 #提示工程 关注 #AI研究 关注