Creative Priming解耦创意生成流程，以GRPO强化新颖性与多样性

摘要：Creative Priming（CP）提出将创意生成拆成两个阶段：先由专用priming模型生成面向当前提示的引导内容，再由response模型据此产出答案。训练阶段采用GRPO，以最终答案的新颖性、质量和多样性作为奖励，从过程层面学习可泛化的生成原则，而非记忆或复现既有作品。该方法有望缓解“模仿成功案例反而抑制创新”的创意悖论，但摘要未披露模型规模、训练数据、具体基准增益、额外推理开销及独立复现结果，现阶段更适合作为可验证的研究框架看待。

---

创意不再只是答案属性，而是可独立训练的过程

Creative Priming（CP）把“如何产生创意”与“如何生成最终答案”拆成两个模型阶段：priming model先针对用户提示生成一份任务特定的primer，response model再结合primer输出响应。训练时，GRPO并不直接奖励某个固定答案，而是评估primer引导出的响应是否新颖、高质量且多样，从过程层面强化能够促成创造力的策略。

这一解耦针对的是创意训练中的固有问题：若直接模仿历史成功作品，模型会提高相似案例的复现概率，却可能削弱探索新解的能力。CP奖励的是“能够产生好结果的过程”，理论上比奖励单一作品更接近可迁移能力。

训练机制：GRPO如何优化引导策略

CP的优化闭环可以抽象为：

1. 依据提示采样priming model的多个候选primer；
2. 让response model分别生成候选响应；
3. 对响应计算新颖性、质量和多样性奖励；
4. 使用GRPO更新priming model，使高回报primer对应的生成过程更可能被采样。

关键变化在于奖励归因。系统不直接拟合某个示范答案，而是通过组内相对优势更新primer策略，使模型学习“哪些引导方式更容易引出好答案”。因此，CP更适合依赖可验证或可比较任务分布的场景；若奖励函数把熟悉范式误判为高质量，优化可能进一步放大模仿偏差。

从工程实现看，CP需要额外维护两个模型或两个阶段，并承受primer生成与下游响应带来的延迟、Token和调度成本。部署前应比较单模型直接生成、双模型串行生成以及共享底座加角色适配三种方案，确认收益是否足以覆盖额外开销。

新颖性与多样性不能只靠一个分数

论文将新颖性、质量和多样性共同纳入奖励，但三者可能互相冲突。更严格地说，新颖性应相对于训练语料、既有作品或近邻候选衡量，而不是只看词面重复；质量需要任务特定的正确性或专家标准；多样性则应覆盖语义路径、方案结构和输出分布，而非鼓励无意义变化。

如果奖励由大模型裁判计算，还需分别验证裁判偏差、位置偏置、长度偏置与自偏好。GRPO能提高被选primer的相对回报，却不能自动保证奖励函数与人类创造力定义一致。

工程权衡：过程解耦并非免费午餐

CP的收益与成本可以拆成三项：

• 质量收益：过程奖励可能比直接模仿更利于跨任务泛化；
• 推理成本：每个请求多一次生成或规划，长上下文场景还会增加KV Cache与首Token延迟；
• 系统复杂度：priming与response需要版本联动，提示格式、奖励模型和响应模型更新都可能引发分布漂移。

GRPO训练本身还需要大量rollout。每个样本会触发多个primer和response生成，显存压力由模型并行、序列长度及采样组大小共同决定。生产应用可先缓存高频提示对应的primer，或只对高价值创意任务启用完整CP链路。

评测重点：是否真正超越模仿，而非重复既有套路

评估CP时不能只比较最终答案的自动化分数。至少应同时测量：相对训练集的语义新颖性、多样候选之间的差异、人类专家质量评分、可执行任务中的正确率，以及与直接生成基线的单位任务成本。

官方结论还需结合测试集与训练集是否隔离、奖励模型是否见过测试任务、不同规模response model能否稳定受益。摘要没有披露具体模型、数据集、分数或消融结果，因此无法判断增益来自CP本身，还是来自更强的primer提示、额外采样预算或奖励模型优势。

开发者落地建议

工程团队可以用小规模消融验证CP：固定response model和推理预算，对比直接生成、普通规划提示与CP；固定primer model，对比直接SFT、拒绝采样和GRPO。随后检查奖励稳定性、不同任务域的迁移能力，以及primer长度对首Token延迟和总Token成本的影响。

若论文代码和权重后续开放，优先复现其奖励定义、采样参数和基线配置。任何“新颖性提升”都应同时给出质量不退化约束及置信区间，否则系统可能只是以更混乱、更低质或更高成本的输出来制造表面差异。

---

消息来源：Hugging Face Daily Papers (2026-11-09)

—— 完 ——

主题标签： #Creative Priming 关注 #GRPO 关注 #创意生成 关注 #过程奖励 关注 #大模型训练 关注