跳到主内容
智客 ZICQ

智客百科 AI 概念

自博弈 (Self-Play)

AI 概念
别名: 自博弈 Self-Play 自对弈 ·2026-09-19

自博弈 (Self-Play)

自博弈 (Self-Play) 是强化学习的一种训练范式:让智能体与自己 的副本对战 / 协作,通过胜负 / 反馈信号不断进化。它是人类最强 AI 系统的核心方法之一——从 AlphaGo 到 AlphaZero,从 AlphaProof 到 DeepSeek R1 的 GRPO,都深深依赖这一思想。

关键里程碑

  • TD-Gammon (1992, Gerald Tesauro):第一个自博弈的强化学习系统, 达到人类顶级双陆棋水平
  • AlphaGo (2016, DeepMind):自博弈 + 人类棋谱混合训练, 4:1 击败李世石
  • AlphaGo Zero (2017):纯自博弈(不依赖人类棋谱)超越 AlphaGo
  • AlphaZero (2018):通用算法,围棋 / 国际象棋 / 将棋都从零 自博弈
  • OpenAI Five (2019):Dota 2,自博弈 + 团队协作
  • AlphaStar (2019):StarCraft II,自博弈达到 Grandmaster
  • AlphaTensor (2022):自博弈发现矩阵乘法新算法
  • AlphaProof (2024):形式化数学证明的自博弈
  • DeepSeek R1 / GRPO (2024-2025):把自博弈思想搬到 LLM 训练 (同一模型多次采样 + 相对评分)

工作机制

经典范式(游戏类)

  1. 维护一个 agent 副本池(snapshot pool)
  2. 当前 agent 与池中某个旧副本对战
  3. 胜负作为 reward
  4. 策略梯度更新当前 agent
  5. 定期把当前 agent 推入池中

优势:

  • 永远有"差不多强"的对手(不需要人类数据)
  • 通过池多样性避免"过拟合到当前自己"

LLM 范式 (GRPO / R1 风格)

  1. 同一 prompt 用同一模型生成 K 个候选回答
  2. 用 verifier 或相对评分判断哪个更好
  3. 把"相对优势"作为 reward
  4. PPO / GRPO 训练

这就是 RLVR + self-play 的组合:

  • 没有人类偏好
  • 没有外部 reward model(如果是 verifier)
  • 靠 agent 自己跟自己比较

优势

  • 不需要人类数据:纯自博弈可以从零达到超人类水平
  • 可扩展:理论上无限训练时间就有无限进步
  • 避免 reward hacking:对手/对手模型是自己的副本,会被博弈进化
  • 跨领域:棋类 / 游戏 / 数学证明 / LLM 推理都可应用

限制

  • 稀疏奖励:游戏胜负是 0/1 反馈,训练效率受限
  • 策略崩溃:可能陷入"局部最优"(如只会一种开局)
  • 算力需求:自博弈要跑海量大模型推理 / 对局
  • 分布外脆弱:训练环境的"meta"在真实场景可能不成立
  • LLM self-play 的局限:纯 self-play 难以学到"新能力", 通常与 RLHF / RLVR / SFT 组合