GAIR-NLP开源801-30B-A3B：把递归自我改进引入预训练

摘要：GAIR-NLP 团队发布 801-30B-A3B-Base：一种总参数 300 亿、每 Token 激活约 30 亿参数的 MoE 基础模型，以 11.8 万亿 Token 从零训练。论文提出将递归自我改进（RSI）从后训练推进到预训练生产系统，通过分解不可重复的完整训练流程，让数据、基础设施和训练步骤分别形成可验证的小闭环。团队同步开放基础模型、轻量 SFT 数据与论文，并以统一 SFT 对比 Qwen3 和 Nemotron 系列模型。不过，“模型权重开放”当前仍标注为即将上线，官方成绩亦需等待独立复现。

---

核心发布：把 RSI 从后训练推进到预训练

GAIR-NLP 团队公开了论文 《No Second Run: Does RSI Stop at Frontier Pre-training?》，并计划开放 801-30B-A3B-Base 及其轻量 SFT 数据。该工作试图回答一个比“如何设计更强 RL 算法”更底层的问题：当一次前沿预训练耗费数十万 GPU 小时、持续数月且无法原样重跑时，递归自我改进（RSI）还能否成立？

论文的答案不是构造一个覆盖整场训练的黑盒自修改循环，而是把反馈拆成更小、可重复验证的闭环，分别修复完整训练暴露出的数据、基础设施或流程缺陷。这种转变的关键不在于“模型自我生成更强模型”，而在于训练生产系统能够利用上一次运行的诊断信息，改善下一次运行的设计与执行。

模型与训练规模

801-30B-A3B-Base 采用稀疏 MoE 架构，总参数量约 300 亿，每个 Token 激活约 30 亿参数。模型从零训练，语料规模为 11.8 万亿 Token，训练周期约三个月，执行团队为新组建团队。

对于 MoE，路由计算可以粗略表示为：

[ y = \sum_{i \in \mathcal{T}(x)} g_i(x) \cdot E_i(x) ]

其中，(E_i) 是第 i 个专家，(g_i(x)) 是路由门控权重，(\mathcal{T}(x)) 是当前 Token 激活的 Top-K 专家集合。激活约 30 亿参数意味着每个 Token 不需要执行全部 300 亿参数，但实际成本仍然包括路由通信、专家负载不均衡、激活显存以及训练时的大规模专家并行。

模型只进行了 60 亿 Token 的轻量 SFT，未使用 RL。这一设置更适合用于测量基础模型的后训练空间，而不是把它包装成已经完成全面对齐的聊天或智能体模型。

RSI 如何适配不可重复的前沿预训练

常规后训练 RSI 通常具备三个便利条件：已有基础模型、试验成本可控、验证指标明确。前沿预训练则同时打破这三项条件。

这套方法因此将端到端循环拆成多个局部循环，例如：

• 从训练异常中识别数据管线缺陷，再验证修订后的数据版本；
• 根据吞吐、稳定性或收敛行为调整训练基础设施；
• 对单一训练步骤做消融或小规模复现实验，再决定是否进入下一次完整训练；
• 将后训练评测中的失败类型反馈给数据选择与训练配置。

每个局部循环都可以形成“诊断—修改—验证”链路，但其贡献不能仅凭最终模型分数归因。若论文没有公开各个修复事件、基线运行和增益消融，“递归自我改进”也可能只是对常规工程迭代的重新包装。完整论文中的闭环实例、修复频率和对照实验是判断技术含量的核心。

官方成绩与评测边界

团队称，801-30B-A3B-Base 在基础模型阶段优于 Qwen3-30B-A3B 和 Nemotron-3.5-Lightning-30B-A3B，仅落后于参数规模更大的 Qwen3.5-35B-A3B；经过相同轻量 SFT 后，相对位置保持不变。

此外，在四个智能体基准的平均成绩上，该模型据称超过包括 Qwen3.6-35B-A3B 在内的完整后训练模型。这里必须区分三类比较：

1. 基础模型与基础模型比较；
2. 相同 SFT 配方下的受控比较；
3. 轻量 SFT 模型与完整后训练模型比较。

第三类比较可以说明基础模型潜力，却不能证明 801 的整体后训练能力更强。智能体基准还容易受到提示模板、工具接口、采样参数、评分器和训练数据污染影响。论文摘要没有给出置信区间、重复运行方差、完整基线配置以及各基准分项，因而这些成绩应视为待复现的官方结果。

工程权衡：收益来自局部闭环，而非免费重训

将 RSI 下沉到预训练的主要收益，是让数据与训练系统也进入自动改进范围。但代价仍然显著：

• 训练成本：完整运行达到数十万 GPU 小时，局部循环若使用真实模型重训验证，单次实验成本仍极高；
• 评估噪声：预训练效果通常无法由一个即时指标判定，局部代理指标可能与最终质量相关性有限；
• 系统复杂度：需要把数据版本、训练配置、代码变更和运行日志建立可追溯关系；
• 归因困难：最终模型由数据、架构、算力调度和人工团队决策共同塑造，不能简单归因于 RSI；
• 容错要求：自动化修复若直接作用于关键训练管线，需要沙箱、审批与回滚机制。

换言之，RSI 并没有消除前沿预训练的成本，而是把不可承受的“整次重跑”转换成多个较小但更严格的工程实验。

开发者落地建议

当前项目更适合研究团队和模型工程师，而不是直接作为生产模型下载使用。模型页面仍标记为 Coming Soon，开发者近期可以优先关注论文、GitHub 仓库和轻量 SFT 数据。

获得权重后，建议重点检查：

• 激活参数、路由 Top-K、专家数量和底层权重格式；
• BF16/FP8 或量化后单卡、多卡显存需求；
• vLLM、SGLang、TensorRT-LLM 等推理框架的原生支持情况；
• 训练数据许可、模型许可证及商业使用边界；
• 同一提示模板、采样配置和工具协议下的复现实测。

对于本地部署，30B-A3B 的实际门槛通常低于同规模稠密 30B，但并不等于“单卡轻松运行”。推理成本仍受专家路由、显存带宽、批处理规模和 KV Cache 长度共同支配；长上下文智能体任务尤其需要控制 KV Cache 占用。模型是否适合个人设备，应等待官方权重、推理实现和量化版本公布后再判断。

结论

801-30B-A3B-Base 的真正看点不是又多了一个 30B MoE，而是把 RSI 的对象从“可重复的后训练试验”扩展到“昂贵且不可重复的前沿训练系统”。如果论文能够证明局部反馈闭环在不同训练缺陷上稳定产生可归因增益，这会为未来基础模型研发提供一种更现实的自动化范式；如果缺少独立对照和消融，则其价值仍主要停留在工程流程创新。

---

消息来源：Reddit r/LocalLLaMA (2026-11-15)

—— 完 ——

主题标签： #801-30B-A3B 关注 #递归自我改进 关注 #MoE架构 关注 #前沿预训练 关注 #开放权重 关注