跳到主内容
智客 ZICQ

智客百科 技术术语

监督微调(SFT)

技术术语
别名: SFT Supervised Fine-Tuning 指令微调 Instruction Tuning ·2026-10-10

监督微调(Supervised Fine-Tuning, SFT)

监督微调(Supervised Fine-Tuning, SFT),亦称指令微调(Instruction Tuning),是使海量语料预训练产出的原始基座模型(Base Model)转变为能够听懂人类意图、遵循系统指令并提供有效回答(Instruct / Chat Model)的关键对齐阶段。

经过预训练的模型本质上只是一个强大的“文本续写机器”,容易陷入重复提问或无休止生成网页代码的循环;SFT 通过高质量的(指令,回复)配对样本训练,强行诱导模型学会对话角色边界与规范的回答范式。


1. 训练范式与损失掩码(Loss Masking)

在 SFT 阶段,样本被格式化为标准对话模板(如 ChatML 或特定模型的 Jinja 模板),例如:

<|im_start|>system
你是一个严谨的资深软件架构师。<|im_end|>
<|im_start|>user
请解释为何在微调时必须对提示词做 Loss Masking?<|im_end|>
<|im_start|>assistant
在 SFT 训练中,如果不做 Loss Masking,模型会同时计算 User 提示词部分的交叉熵损失...<|im_end|>

关键工程原则:仅对 Assistant 词段计算损失(Target-only Loss)

在因果语言模型自回归计算中,系统提示词(System)与用户输入(User)属于外部给定的输入条件,模型不应当被惩罚或鼓励去学会预测用户会提什么问题。

  • 实现机制:在构建 PyTorch 训练标签(Labels)时,将所有 System 与 User 的 Token ID 替换为 -100(PyTorch CrossEntropyLoss 的默认 ignore_index)。
  • 损失公式:仅在 Assistant 回答段 $t \in [t_{\text{start}}, t_{\text{end}}]$ 上反向传播梯度: $$\mathcal{L}{\text{SFT}}(\theta) = - \sum{t=t_{\text{start}}}^{t_{\text{end}}} \log P(x_t \mid x_{<t}; \theta)$$
  • 实战经验:若疏忽导致对全序列计算 Loss,会导致模型指令理解能力退化、倾向于复述用户提问或对固定 Prompt 格式产生病态过拟合。

2. 数据动力学:质量与多样性(LIMA 假说)

早期指令微调倾向于堆砌几十万至数百万条开源机器翻译或爬取样本(如早期 Alpaca 数据集)。Meta 的 LIMA(Less Is More for Alignment) 论文彻底重塑了业界共识:

“模型的所有知识与能力几乎在预训练阶段已经全部获得,指令对齐过程只是教会模型以何种风格和格式将这些内在知识调取出来。”

  • 少而精胜于多而杂:1,000 条人工精调、格式严谨、覆盖广泛专业维度的极品样本(LIMA),在对话评测中全面击败了 50,000 条未经严格过滤的合成样本。
  • 任务分布多样性矩阵:一个工业级高质量 SFT 数据集必须科学覆盖以下维度:
    • 复杂代码与算法实现(20%-25%)
    • 多步数学与逻辑符号推理(20%-25%)
    • 指令遵循与约束控制(字数限制、固定 JSON 格式、排他性逻辑)(15%)
    • 角色扮演与多轮深度对话交互(15%)
    • 安全边界拒答与红队对齐(10%)
    • 摘要提取与知识问答(15%)

3. 合成数据生成(Synthetic Data)与数据清洗

人工标注高质量万级专业样本成本极其昂贵(每条成本数十美元)。现代 SFT 核心依赖基于强模型(如 GPT-4o、Claude 3.7)引导的合成数据流水线:

  1. Self-Instruct 与 Evol-Instruct: 从少量种子种子任务出发,让模型从“增加约束”、“深化专业度”、“增加推理步数”、“多轮上下文反转”四个维度对指令进行树状进化扩充。
  2. 清洗模板套话(Boilerplate De-biasing): 合成语料中往往充斥着严重的“AI 味”(如开头必有“好的!作为人工智能我很高兴为您解答”、“这真是一个绝妙的问题”,结尾必有“希望这个回答对您有所帮助,让我们拭目以待”)。必须编写启发式正则与轻量分类器,坚决剔除一切无意义客套模板。
  3. 执行器验证(Execution-based Filtering): 对于代码生成与数学推理样本,强制送入 Python 沙箱或 Lean 4 形式化验证器运行。代码报错或数学答案校验失败的样本直接物理剔除,从源头切断模型产生幻觉的可能。

4. 训练超参数与实战调优准则

超参数 全量微调(Full Fine-Tuning) 参数高效微调(LoRA / QLoRA) 调优经验与陷阱
学习率(Learning Rate) $5\times 10^{-6} \sim 2\times 10^{-5}$ $1\times 10^{-4} \sim 3\times 10^{-4}$ SFT 学习率需比预训练低 1 个数量级,防止破坏底层表征
优化器与调度 AdamW($\beta_1=0.9, \beta_2=0.95$)+ Cosine AdamW / Paged-AdamW + Cosine Warmup 步数占总步数的 3%-5%
训练轮数(Epochs) 2 ~ 3 轮 2 ~ 4 轮 严禁训过多轮!超过 4 轮容易引发灾难性记忆与句式僵化
批次大小(Global Batch Size) 64 ~ 128 32 ~ 64 通过梯度累加(Gradient Accumulation)维持大批次稳定梯度
权重衰减(Weight Decay) 0.01 ~ 0.1 0.01 适度权重衰减能抑制过拟合

5. SFT 的常见副作用与局限性

  1. 对齐税(Alignment Tax): 在追求让模型回答更礼貌、格式更规整的过程中,模型的底层创造力与复杂推理能力可能会出现细微下滑。
  2. 谄媚性(Sycophancy): SFT 模型往往倾向于盲目附和用户。如果用户在 Prompt 中故意提出错误论断(如“1+1=3 对不对?”),缺乏强化学习约束的 SFT 模型容易顺从用户的谬误进行圆谎。
  3. 冗余冗长偏好(Verbosity Bias): SFT 训练语料中的人类或合成回答往往字数偏多、结构层次丰富,导致模型误以为“回答越长、排版越花哨,得分就越高”,在简单事实问答中表现出严重的废话膨胀。 因此,工业界在 SFT 完成后,通常会紧接着引入 RLHF 或 DPO 偏好对齐,以约束谄媚、抑制废话并建立稳固的安全边界。