跳到主内容
智客 ZICQ

智客百科 AI 概念

标度律 (Scaling Laws)

AI 概念
别名: Scaling Laws 标度律 Chinchilla 标度律 计算最优训练 ·2026-10-10

标度律 (Scaling Laws)

标度律(Scaling Laws)是描述深度神经网络(特别是自回归语言模型)的测试集交叉熵损失(Cross-Entropy Loss)与模型参数量 $N$、训练数据量(Tokens)$D$ 以及总浮点计算量 $C$ 之间定量演化规律的经验幂律函数。标度律使耗资千万美元的大模型预训练从不可预测的黑盒探索,转变为具备精确预测能力的严肃计算工程。


经典标度律的数学形式与历史纠偏

自回归 Transformer 语言模型单步前向与反向传播的浮点运算量可由参数量精确近似:

$$C \approx 6 N D \quad (\text{FLOPs})$$

在此物理约束下,关于算力预算的最佳分配方案经历了一次关键的范式演变:

                      总计算预算 C 增长
                             │
            ┌────────────────┴────────────────┐
   Kaplan 标度律 (2020)              Chinchilla 标度律 (2022)
            │                                 │
     参数增长占 ~73%                    参数与数据等比例增长 (各占 ~50%)
     数据增长占 ~27%                    最优经验法则: 1 参数 : 20 Tokens
            │                                 │
  [导致 GPT-3 / Gopher 欠拟合]          [Chinchilla 70B 击败 280B Gopher]

1. Kaplan 标度律 (OpenAI, 2020)

Kaplan 等人通过大量小规模实验拟合出独立的幂律衰减形式:

$$L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad L(D) = \left(\frac{D_c}{D}\right)^{\alpha_D}, \quad L(C) = \left(\frac{C_c}{C}\right)^{\alpha_C}$$

在固定计算预算 $C$ 的约束下,Kaplan 团队推导出模型规模的扩张速度应远快于数据规模扩张:算力每增加一倍,应当把约 $73%$ 的算力用于扩充模型参数量 $N$,仅把 $27%$ 的算力用于增加训练数据量 $D$。

这一早期结论直接主导了第一代大模型的构建,导致包括 GPT-3(175B 参数,仅训练 300B Tokens)在内的早期模型处于严重的**严重欠训练(Severely Under-trained)**状态。

2. Hoffmann / Chinchilla 标度律 (DeepMind, 2022)

DeepMind 团队指出 Kaplan 的拟合缺陷根源:其实验采用了固定的余弦学习率衰减周期(Cosine LR Schedule),导致小模型在大数据量训练时未能充分收敛,严重低估了数据规模对降低损失的边际贡献。

Hoffmann 等人重新构建了包含不可约损失的联合拟合函数:

$$L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}$$

其中:

  • $E$ 为自然语言的不可约熵界限(Irreducible Loss);
  • $A, B$ 为常数偏置因子,$\alpha \approx 0.34, \beta \approx 0.28$。

利用拉格朗日乘子法求解约束优化 $\min_{N, D} L(N, D) \quad \text{s.t.} \ 6ND = C$,得出**训练计算最优(Compute-Optimal)**结论:

$$N_{\text{opt}} \propto C^{a}, \quad D_{\text{opt}} \propto C^{b} \quad (a \approx 0.5, \ b \approx 0.5)$$

即:模型参数量与训练 Token 数应当以相同的速度(同等比例)同步扩张。在最优预算下,模型参数量与数据量之比约为 $1 : 20$。DeepMind 依此训练的 Chinchilla(70B 参数,1.4T Tokens)在各项基准测试中全面碾压了体积是其 4 倍的 Gopher(280B)。


工业范式转变:训练最优 vs. 推理效率最优 (Over-Training)

进入开源模型时代(以 Meta 的 LLaMA 系列为代表),业界有意“违背”了 Chinchilla 的黄金比例:

模型代际 参数量 ($N$) 训练 Tokens ($D$) Token / 参数比例 设计策略属性
GPT-3 175B 300B $1.7 : 1$ 欠拟合 (Kaplan 范式)
Chinchilla 70B 1,400B (1.4T) $20 : 1$ 训练计算最优 (Chinchilla 范式)
LLaMA-1 65B 1,400B (1.4T) $21.5 : 1$ 临界达标
Llama-3-8B 8B 15,000B (15T) $1875 : 1$ 推理经济性驱动的超标度训练

商业经济学核算原理

Chinchilla 标度律的前提假设是“模型只训练一次,且不计较部署后的推理开销”。然而在商业生产环境中,主流基础模型上线后往往要承载数亿用户的长期高并发调用,其全生命周期的推理硬件开销通常是前期单次训练成本的数十倍至上百倍。

通过对一个小参数模型(如 8B)进行超长跨度训练(Over-training,如 15T Tokens),虽然其训练损失下降的边际收益递减,但换来的是模型部署时极低的显存占用、极高的并发吞吐和极低的服务成本。


下一代标度律:测试时计算标度 (Test-Time Scaling)

随着高质量纯文本网页数据逼近耗尽的“数据墙(Data Wall)”,AI 领域的 Scaling 核心主战场正从“预训练扩展(Pre-training Scaling)”扩展至**“测试时计算扩展(Inference-Time / Test-Time Compute Scaling)”**:

                ┌───────────── 标度律双引擎 ─────────────┐
                │                                         │
[预训练扩展 (Pre-training)]             [测试时计算扩展 (Test-time)]
扩展模型参数 N 与预训练语料 D            扩展推理时的思考 Token 数与搜索路径
受制于算力成本与数据枯竭                 通过自博弈强化学习 (RLVR) 指数级提升推理能力
                │                                         │
                └─────────────────────────────────────────┘

以 OpenAI o1 与 DeepSeek-R1 为代表的推理大模型证明:

  1. 思考长链(Chain of Thought)扩展:在推理阶段为复杂逻辑、数学证明和编程任务分配更多的思维 Token,模型的求解正确率与推理时计算量呈现出全新的幂律扩展曲线;
  2. 搜索与验证(Search & Verification):结合蒙特卡洛树搜索(MCTS)与进程监督模型(PRM),系统在推理时能够并发生成多条路径并自我修正,使推理计算的边际价值产生非线性跃升。

标度律的工程边界与常见认知误区

  1. 损失下降不等于任务表现单调提升:标度律预测的是**自回归交叉熵损失(Next-token Prediction Loss)**的平滑收敛,而非下游具体 Benchmark(如 GSM8K、HumanEval、MMLU)的准确率。非线性评分函数往往会在特定阈值处出现类似涌现能力的跳变。
  2. 数据质量重构截距:标度律公式中的常数项 $A, B$ 受语料质量极大影响。引入高质量代码、数学教科书与合成数据(Synthetic Data),能够显著压低拟合曲线,使得更小的数据量达到更低的目标损失。
  3. 架构偏置不可完全忽视:尽管标度律在标准 Transformer Decoder 上表现稳定,但注意力机制变体(如 MLA、Mamba 状态空间模型、MoE 稀疏路由)的引入会改变有效参数量与算力转换效率。

参考资料与权威文献