GRPO后训练会“搭便车”放大非目标特征

摘要：这项研究将演化生物学的 Price equation 引入大模型强化学习后训练，用“性状搭便车”描述模型在奖励驱动下重新分配生成概率时，非目标特征被同步放大或压制的现象。作者基于 GRPO 模型推导概率更新关系，并用 Price 估计追踪采样得到的特征动态，实验显示两者变化高度一致。该工作提示，奖励模型只约束显式任务指标，并不能阻止模型在格式、语气、拒答倾向等旁路特征上发生漂移，为大模型后训练评估和安全审计提供了新的量化工具。

---

## 核心发现：奖励进步不等于行为只朝目标方向变化 大模型强化学习后训练通常用可验证奖励衡量任务完成度，但一次更新同时会改变整条生成分布。即使奖励函数没有定义某种语言风格、拒答方式、解释结构或安全倾向，这些“非目标性状”也可能在采样概率重新分配时随任务能力一起上升或下降。研究将这种现象命名为 **trait hitchhiking（性状搭便车）**。 论文借用演化生物学的 Price equation，把群体中某个特征的平均值变化拆成两部分：一部分来自个体特征差异，另一部分来自不同特征个体之间的选择或频率差异。迁移到语言模型后，模型参数或生成策略的变化可类比“选择压力”，不同 completion 的概率变化可类比“繁殖份额”。 核心关系可以写成： \[ \Delta \bar{z} = \frac{\operatorname{Cov}(w,z)}{\bar{w}} + E[w\Delta z] \] 其中，\(z\) 表示待监测特征，\(w\) 表示奖励或适应度，\(\Delta \bar{z}\) 是该特征在训练后的平均变化。Price 分解的价值在于：它不必只观察最终奖励，而是可以估计奖励更新与某个非目标特征变化之间究竟有多少关联。 ## 机制拆解：生成概率重分配如何带动隐性特征 在自回归语言模型中，完整 completion 的概率由多个 token 条件概率连乘得到： \[ P(y)=\prod_t P(y_t\mid y_{ **消息来源**：[ArXiv Machine Learning (cs.LG)](https://arxiv.org/abs/2611.14683) (2026-11-13) —— 完 ——

主题标签： #LLM后训练 关注 #GRPO 关注 #强化学习 关注 #行为漂移 关注 #Price方程 关注