递归自训练中的熵交叉：词汇收缩不等于分布均匀化

摘要：一项研究对 GPT-2 进行九代递归自训练，发现训练温度变化会使不同 Rényi 熵指标在差异显著的临界点从下降转为上升：最小熵最早交叉，碰撞熵、Shannon 熵和词汇丰富度随后出现。温度为 1 时，第九代词汇类型减少 24%，碰撞熵却增加 0.91 bit，说明输出并未简单走向单一化，而是出现词表收缩与高频词主导性下降并存的现象。研究还通过多采样器、固定预算、多随机种子及印地语实验验证了交叉顺序的稳定性，并指出熵曲线符号不能单独作为模型质量恶化的判据。

---

研究结论：模型坍缩不是单一路径

这项研究以 GPT-2 为对象，连续九代使用模型自身生成的文本进行微调，并通过改变训练数据采样温度，观察输出词表与 Rényi 熵曲线的变化。结果显示，递归自训练并不必然沿一条路径滑向“所有概率集中到少数词”的经典模式坍缩。

在部分温度区间内，模型输出的词型数量持续下降，但最高频词的相对主导性反而减弱，因此词表丰富度与分布均匀性可以朝相反方向变化。论文据此提出标题中的判断：丰富并不等于均匀，不能用单一熵指标概括模型坍缩。

熵交叉如何定义

研究考察了四类随 Rényi 阶数变化的统计量：

• 最小熵（min-entropy），对应最可能词的概率质量；
• 碰撞熵（collision entropy），反映有效词型数量；
• Shannon 熵，衡量整体分布熵；
• 观察到的词汇丰富度，以实际出现的词型数量表征覆盖范围。

随着训练温度升高，各指标的相对变化会在不同位置由负转正，即论文所称的“交叉”。典型顺序是最小熵首先交叉，随后是碰撞熵、Shannon 熵和词汇丰富度。这个顺序意味着，最可能词的优势开始减弱，并不等同于词型数量立即增加；两项指标可能分别处于相反区间。

Rényi 熵的一般形式为：

$$H_\alpha(X)=-\frac{1}{1-\alpha}\log \sum_x p(x)^\alpha$$

不同阶数 $\alpha$ 对分布尾部赋予不同权重。最小熵近似于 $\alpha\to\infty$，主要关注最大值；较小阶数则更敏感于低概率词是否仍获得概率质量。因此，多个 Rényi 阶数并不是重复测量，而是分别观察概率尖峰、主体分布和尾部贡献。

温度为 1 时的关键数据

在训练温度 $T=1$、约 13,000 词的评估预算下，第九代模型的词型数量比第一代减少 24%，但碰撞熵反而提高 0.91 bit。

这组结果的重要性在于，它排除了“词型越少，碰撞熵必然越低”的简单对应关系。更准确的解释是：

1. 部分低频词型在递归训练中消失，造成表层词汇覆盖收缩；
2. 高频词——尤其是英语中的功能词——所占主导地位没有同步增强；
3. 剩余概率质量因而分布到更多仍存在的词型上。

换言之，模型可能同时出现词汇边界收缩和主体分布去集中化。如果只监控 type-token richness，会低估分布结构的变化；如果只看碰撞熵，又可能忽略新词型已经不可逆地消失。

解码与采样效应被单独检验

训练温度本身会影响自生成数据，而测量时的解码温度也会改变观测熵。论文使用固定采样器评估各代模型，并通过更细温度网格、不同测量采样器、固定词数预算和五个新训练种子复现实验。

研究还分析下一词身份，并使用分类分布模拟隔离解码与采样效应。结果表明，交叉顺序在控制这些变量后仍然存在，属于经验规律，而不是仅由测量端采样器制造的假象。

不过，这些结论的适用范围仍需谨慎理解：实验主体是英语 GPT-2，递归链最长九代。论文在印地语和另一种文本表示中进行了补充验证，最小熵仍通常先于丰富度交叉，但印地语部分结果需要通过插值根才能观察到。因此，这一顺序具有较强经验稳定性，却尚未构成跨语言、跨模型规模的普遍定律。

为什么不能把熵方向当作质量判据

论文还使用人类文本微调模型，观察到类似的熵分裂可伴随似然改善。换言之，某个 Rényi 熵曲线由降转升，既可能对应语言质量恶化，也可能与更高似然同时出现。

原因是不同熵指标分别描述概率分布的不同侧面，无法直接等价于语义质量、事实性或下游任务能力。尤其在递归数据生成中，训练分布本身会持续变化，模型对自身输出的似然可能因分布匹配而提高，却不代表知识覆盖或输出多样性改善。

因此，单一指标的符号无法可靠识别更差的模型质量。论文建议同时报告：

• 明确训练与测量温度；
• 固定且可复现的词数预算；
• 多个 Rényi 阶数或完整熵曲线；
• 独立的模型质量指标，如验证集似然、人工文本上的困惑度，或特定任务得分。

工程落地建议

对于持续使用模型输出进行再训练的数据管线，部署团队至少应记录每次迭代的词型覆盖、碰撞熵、Shannon 熵和最高词概率，而不是仅监控困惑度。尤其在多语言数据中，不同语言的功能词分布与 Zipf 尾部长度不同，固定英文阈值不适合直接复用。

评测层应将“预算”纳入协议：在相同 token 或词数预算下比较各代模型，避免把生成量变化误判为分布变化。同时，应固定测量采样器，并把训练温度与评估温度分开记录。

更重要的是，熵指标应承担诊断而非裁判角色。它适合发现模型分布何时进入新的结构区间，但决定是否继续递归训练，应依赖独立验证集、人类文本对照和下游任务回归。

研究局限

研究只使用较小的 GPT-2 作为主要实验对象，尚未证明相同顺序在大规模指令模型、代码模型或长上下文模型上成立。递归九代也有限于短程退化，长期递归是否出现其他临界行为仍未知。

此外，论文没有提供一个单一、可计算的“坍缩指数”，而是强调多指标画像。这一方法更稳健，但增加了实验分析成本。核心贡献因而不在提出新模型，而在纠正模型坍缩研究中的单指标简化：词表收缩、概率集中和整体不确定性必须分开测量。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-09)

—— 完 ——

主题标签： #模型坍缩 关注 #递归自训练 关注 #Rényi熵 关注 #GPT-2 关注 #语言模型评测 关注