跳到主内容
智客 ZICQ

智客百科 AI 概念

合成数据(Synthetic Data)

AI 概念
别名: Synthetic Data 合成数据 数据合成 Model Collapse ·2026-11-18

合成数据(Synthetic Data)指由强模型、模拟器、形式化验证器或程序规则自动生成,而非直接从真实人类行为或公开网页抓取的训练样本。在优质人类互联网语料逐步耗尽、垂直领域标注成本高昂(如数学长证明、代码修补过程)或生产数据涉及隐私合规(医疗临床记录、企业内部财务对话)时,合成数据已成为预训练与后训练的核心数据引擎。

四大核心应用场景

  1. 高质量「教科书级」预训练语料:微软研究团队在 Textbooks Are All You Need(Gunasekar et al., 2023)中验证,用强模型改写提炼出结构清晰、知识点密集的合成教科书与代码练习(Phi 系列),能大幅提升小参数模型的样本效率;
  2. 指令微调(SFT)与偏好数据扩增:生成跨领域多轮指令、改写难例或以原则驱动 AI 偏好打标(如 Constitutional AI 中的 RLAIF 合成偏好对);
  3. 带验证器过滤的推理轨迹合成(Rejection Sampling + RLVR):由教师模型生成海量数学推导、仓库代码补丁或工具调用轨迹,经单元测试、符号核对或编译器筛选出严格正确的路径作为训练集,避免「垃圾进、垃圾出」;
  4. 纯合成结构化决策训练(100% Synthetic):例如 TypeSafe AI Jev 公开路线,通过程序生成完整 Schema → 决策样本对训练专业分类/路由模型并配合 RLCD 校准,从而彻底规避真实用户隐私泄露与版权污染风险。

核心风险:模型坍塌(Model Collapse)与同质化

2024 年 7 月发表于 Nature 的奠基性论文 AI models collapse when trained on recursively generated data(Shumailov 等人)揭示了一个严峻风险:如果每一代模型都不加区分地反复在上一代 AI 的裸输出上递归训练,最终模型分布将发生不可逆的「模型坍塌」(Model Collapse):

  • 早期坍塌:模型首先丢失真实世界数据分布的长尾少数特征与边缘知识,只剩下常见高频套路;
  • 晚期坍塌:方差不断收缩,各代近似误差累积,输出退化为单调重复甚至失去语法与事实意义。

除了坍塌风险,原始合成生成还容易出现「模型口音(Style Homogenization)」——过度使用固定连接词与统一套话结构,以及将教师模型自身的隐性幻觉和偏见复制到学生模型中。

可落地的防线与最佳实践

  • 绝不在纯未过滤 AI 输出上闭环递归:每代训练必须锚定一定比例的真实人类高质量原始语料;
  • 「生成 + 外部验证器」而非「生成即入库」:在代码、数学、逻辑、工具调用领域,必须挂载编译器、单元测试、规则约束或环境执行状态作为硬筛选门禁;
  • 多样性工程与去重:联合多种不同底座模型、随机采样温度、提示词角色视角及课程难度分级(Curriculum),并用 数据清洗(MinHash / 语义聚类去重)控制样本分布均衡,而不是只追 Token 总量。

进一步阅读

  • Shumailov et al. (2024, Nature), AI models collapse when trained on recursively generated data(arXiv 预印本 The Curse of Recursion):https://arxiv.org/abs/2305.17493
  • Gunasekar et al. (2023), Textbooks Are All You Need:https://arxiv.org/abs/2306.11644