跳到主内容
智客 ZICQ

智客百科 技术术语

预训练(Pretraining)

技术术语
别名: 预训练 Pre-training 自监督预训练 ·2026-10-10

预训练(Pretraining)

**预训练(Pre-training)**是现代大语言模型(LLM)生命周期中算力消耗最高、工程复杂度最庞大的阶段。通过在大规模无标注文本与代码语料(数万亿至数十万亿 Token 规模)上运行自监督学习,模型通过“下一个 Token 预测(Next-Token Prediction)”任务,自底向上构建起对自然语言语法、常识知识、逻辑推理、代码逻辑乃至物理世界常识的隐式参数表征。


1. 数学目标与因果语言建模(CLM)

现代自回归 Transformer 预训练的核心目标函数是自回归极大似然估计(Causal Language Modeling, CLM):

$$\mathcal{L}{\text{CLM}}(\theta) = - \sum{t=1}^T \log P(x_t \mid x_{<t}; \theta)$$

  • 整个学习过程无需人工标注标签,序列中的每个词既是前序上下文的输出预测目标,又是后续词的输入条件。
  • 通过在数万亿 Token 上最小化交叉熵损失,模型的注意力权重和前馈网络层逐步学会了世界知识的概率分布与逻辑推理模式。

2. 工业级数据工程流水线

模型能力上限取决于预训练数据的质量与配比。现代大模型(如 Llama 3、DeepSeek-V3)的数据清洗管线通常包含五道严密工序:

原始爬虫数据 (Common Crawl 等)
   │
   ▼ 1. 文本提取与规整 (HTML 正文解析、去除样板代码与乱码)
   ▼ 2. 启发式质量过滤 (标点比例、单词长度、行均字符、语言识别)
   ▼ 3. 跨文档去重 (MinHash LSH 模糊去重、精确 URL/行级去重)
   ▼ 4. 模型辅助打分 (基于高质量语料训练 fastText 或轻量分类器)
   ▼ 5. 隐私与安全脱敏 (PII 过滤、有害内容阻断、版权清洗)
   │
   ▼
高纯度预训练语料库 (优质网页 + 代码 + 学术论文 + 经典书籍)
  1. 启发式规则过滤(Heuristic Filtering): 过滤 HTML 标签残留、非自然语言乱码、重复词串(机器生成文本常伴有自环循环)。
  2. 大规模模糊去重(MinHash LSH): 互联网上存在海量镜像与转载。研究表明未去重的高频重复文本会导致模型严重过拟合与记忆退化。业界普遍采用 MinHash + LSH(局部敏感哈希)将 Jaccard 相似度高于 0.8 的文档高效去重。
  3. 模型辅助质量打分(Quality Filtering): 以维基百科、教材、高质量技术论坛为正样本,训练二分类器或基于困惑度(Perplexity)的评分器(如 KenLM、fastText)。如 FineWeb-Edu 和 DCLM 证明,通过分类器挑选具有教育与推理价值的网页,能显著提升模型在下游基准测试中的得分。
  4. 多领域数据混合配比(Data Blending): 预训练不是单一语料的堆砌,而是按科学比例动态调配:
    • 网页通用文本(50%-60%):语言多样性与基础世界知识。
    • 高质量代码(20%-30%):提升逻辑推理与代码生成能力。
    • 科学论文与数学教材(10%-15%):强化符号推导与严密论证。
    • 高质量合成数据(5%-10%):弥补极度稀缺的深奥专业领域数据。

3. Scaling Law 与“过度训练(Over-training)”范式

根据经典 Chinchilla 标度律,在固定计算预算 $C$ 下,最优参数量 $N$ 与最优训练 Token 数 $D$ 满足 $D \approx 20N$。例如一个 7B 模型在消耗约 140B Token 时达到训练计算最优。

然而在工业落地的部署阶段,商业考量发生了范式转移:

  • 推理成本主导模型全生命周期成本:一个被数百万用户日常调用的基座模型,其推理算力成本远超初始预训练算力。
  • 过度训练(Over-training)成为共识:
    • LLaMA 1(7B)使用了 1.0T Token(约 $140N$);
    • Llama 3(8B)使用了超过 15T Token(逼近 $1875N$),在小尺寸模型上将能力压榨到极致。 虽然在训练阶段增加了算力,但使得 8B 模型具备接近上一代 70B 模型的推理性能,极大降低了生产环境的部署与显存成本。

4. 超大规模分布式训练系统架构(3D 并行)

训练动辄千亿参数的模型需要数千至数万张高性能 GPU 协同工作,必须采用 3D 并行切分架构:

  1. 张量并行(Tensor Parallelism, TP): 在 Megatron-LM 架构下,将单层的自注意力权重和 MLP 前馈矩阵按行或按列拆分至同一节点的 8 张 GPU 上,通过高速 NVLink 进行 All-Reduce 同步。
  2. 流水线并行(Pipeline Parallelism, PP): 将 Transformer 的数十个堆叠层按阶段(Stage)切分到不同节点,前向与反向传播以微批次(Micro-batch)形式如流水线般流动,减少单卡显存驻留。
  3. 数据并行与 ZeRO / FSDP: 通过 ZeRO-3 或 PyTorch FSDP(Fully Sharded Data Parallel),将优化器状态(Optimizer States)、梯度(Gradients)和模型权重分片到整个集群,彻底消除显存冗余。
  4. 算子加速与精度控制: 广泛采用 FlashAttention-3 优化显存访问带宽,结合 BF16 或 FP8 混合精度训练,成倍提升算力利用率(MFU 达到 50%-60%)。
  5. 系统容错与故障恢复: 在万卡集群上,硬件故障(单卡挂掉、网络链路静默丢包)平均数小时即可发生一次。现代训练系统配备异步 Checkpoint 存盘与秒级拓扑重建,防止故障导致训练中断。

5. 退火阶段(Annealing / Mid-training)

现代预训练并非平缓线性结束,而是引入专门的退火阶段(Annealing Phase):

  • 学习率陡降:在训练最后 5%-10% 的 Token(约 500B-1T Token)期间,学习率快速衰减至近零。
  • 高纯度语料注入:此时将低质量网页语料完全剥离,集中注入最高纯度的数学题解、代码语料、优质问答与长文本推理数据。
  • 长文本扩展:利用该阶段调整 RoPE 基频(Base Frequency),将预训练上下文长度从 8K 平滑扩展至 64K 或 128K。 退火过程能让模型在预训练收敛前将注意力聚焦在高质量核心知识上,显著跃升基准评测能力。