自博弈 (Self-Play)
自博弈 (Self-Play) 是强化学习的一种训练范式:让智能体与自己 的副本对战 / 协作,通过胜负 / 反馈信号不断进化。它是人类最强 AI 系统的核心方法之一——从 AlphaGo 到 AlphaZero,从 AlphaProof 到 DeepSeek R1 的 GRPO,都深深依赖这一思想。
关键里程碑
- TD-Gammon (1992, Gerald Tesauro):第一个自博弈的强化学习系统, 达到人类顶级双陆棋水平
- AlphaGo (2016, DeepMind):自博弈 + 人类棋谱混合训练, 4:1 击败李世石
- AlphaGo Zero (2017):纯自博弈(不依赖人类棋谱)超越 AlphaGo
- AlphaZero (2018):通用算法,围棋 / 国际象棋 / 将棋都从零 自博弈
- OpenAI Five (2019):Dota 2,自博弈 + 团队协作
- AlphaStar (2019):StarCraft II,自博弈达到 Grandmaster
- AlphaTensor (2022):自博弈发现矩阵乘法新算法
- AlphaProof (2024):形式化数学证明的自博弈
- DeepSeek R1 / GRPO (2024-2025):把自博弈思想搬到 LLM 训练 (同一模型多次采样 + 相对评分)
工作机制
经典范式(游戏类)
- 维护一个 agent 副本池(snapshot pool)
- 当前 agent 与池中某个旧副本对战
- 胜负作为 reward
- 策略梯度更新当前 agent
- 定期把当前 agent 推入池中
优势:
- 永远有"差不多强"的对手(不需要人类数据)
- 通过池多样性避免"过拟合到当前自己"
LLM 范式 (GRPO / R1 风格)
- 同一 prompt 用同一模型生成 K 个候选回答
- 用 verifier 或相对评分判断哪个更好
- 把"相对优势"作为 reward
- PPO / GRPO 训练
这就是 RLVR + self-play 的组合:
- 没有人类偏好
- 没有外部 reward model(如果是 verifier)
- 靠 agent 自己跟自己比较
优势
- 不需要人类数据:纯自博弈可以从零达到超人类水平
- 可扩展:理论上无限训练时间就有无限进步
- 避免 reward hacking:对手/对手模型是自己的副本,会被博弈进化
- 跨领域:棋类 / 游戏 / 数学证明 / LLM 推理都可应用
限制
- 稀疏奖励:游戏胜负是 0/1 反馈,训练效率受限
- 策略崩溃:可能陷入"局部最优"(如只会一种开局)
- 算力需求:自博弈要跑海量大模型推理 / 对局
- 分布外脆弱:训练环境的"meta"在真实场景可能不成立
- LLM self-play 的局限:纯 self-play 难以学到"新能力", 通常与 RLHF / RLVR / SFT 组合