FireFlash开源长程智能体强化学习配方
文 / Mr.Xu 社区投稿
发布时间：
摘要：FireFlash 团队发布面向长程终端与编程智能体的强化学习训练配方，并以 300B 规模模型为核心，在 Terminal-Bench 4.0 取得 46.2% 的成绩。团队称，该方案在 64 张 NVIDIA B300 上用不到 5 天完成训练，相较 Fable 5 最高推理档位的单任务成本降低超过 30 倍，并同步在 DeepSWE v1.1 与 SWE-Bench Pro Verified 上验证迁移效果。其关键不止是扩大模型，而是筛选难度合适、奖励可靠的智能体环境，并针对长时、陈旧、低精度 rollout 改造训练流程，再以模型定制的编码执行框架统一训练与评测。完整配方计划开放，权重则仍处于提交阶段。
FireFlash 把长程智能体 RL 压缩到百卡级训练流程
FireFlash 团队公开了一套面向长程智能体任务的强化学习配方，并称其 300B 规模模型在 Terminal-Bench 4.0 上达到 46.2%，与 Fable 5、GPT-6 Sol 处于同一水平。团队给出的关键结果是：训练只使用 64 张 NVIDIA B300，历时不到 5 天，而每个任务成本比 Fable 5 最高推理档位低 30 倍以上。
这项工作的核心并不是单纯扩大模型，而是重新设计智能体 RL 的训练闭环：任务必须能够提供可靠且难度适中的奖励信号；轨迹可能跨越较长时间，并因异步执行、工具延迟或策略更新而变得陈旧；训练与评测还要共享同一个针对模型优化的 coding harness。
三部分组成训练闭环
1. 按学习信号筛选智能体环境
长程 RL 的第一道难题不是提示词，而是环境质量。如果任务过易，策略得不到足够梯度；如果任务过难，失败原因又可能来自环境噪声、工具兼容性或评测脚本，而非模型决策。FireFlash 的做法是精选能够持续提供可靠奖励信号、并把难度控制在适当区间的智能体任务。
这相当于把传统 RL 中的“奖励设计”扩展为“环境供应链管理”。真正的技术难点包括奖励是否可复现、容器状态能否重置、工具调用失败如何归因，以及同一缺陷是否会因随机环境配置而产生不一致结果。对于终端和编程任务，这些因素都会直接影响 rollout 的信用分配。
2. 适配长时、陈旧与低精度 rollout
FireFlash 明确将 rollout 处理作为训练配方的一部分。长程智能体轨迹可能持续数分钟甚至更久，生成、工具执行和奖励计算无法完全同步；当策略参数更新时，先前生成但尚未完成验证的轨迹也会变成“陈旧轨迹”。若直接丢弃这些样本，昂贵的长程计算将被浪费；若全部保留，又可能引入过时策略产生的不一致行为。
低精度 rollout 则用于降低大规模智能体训练中生成阶段的显存与带宽压力。其工程权衡也很直接：更低的数值精度可以提高吞吐量并减少训练成本，但若轨迹奖励对细微错误敏感，梯度噪声可能掩盖真实能力差异。论文摘要没有披露其陈旧轨迹的校正方式、重要性采样策略、精度配置与梯度失配指标，这些仍是复现的关键。
3. 训练与评测共用定制 coding harness
FireFlash 还为模型定制了 coding harness，使训练和评测通过相同的工具协议、终端抽象、上下文组织与完成判定机制运行。这一设计可减少训练—部署偏差：模型在训练时学会的工具调用格式、错误处理方式和输出契约，可以直接延续到评测环境。
但 coding harness 本身也可能改变智能体能力上限。宽松的奖励判定会制造“钻测试漏洞”的行为，严格判定则可能把环境缺陷误记为模型失败。评估该配方时，需要同时检查任务通过率、测试污染、修复提交可执行率，以及对未见工具和仓库的泛化能力。
基准成绩需要谨慎解读
官方报告称，FireFlash 在 Terminal-Bench 4.0 上取得 46.2%，并将收益迁移到 DeepSWE v1.1 与 SWE-Bench Pro Verified。这些结果说明方法并未只针对单一终端环境优化，但目前公开材料仍不足以支持严格横向比较。
首先，模型参数规模、激活参数规模、上下文长度和推理预算尚未披露；300B 是总参数还是活跃参数，会直接影响显存与推理成本。其次，“每个任务成本”需要纳入失败重试、工具服务、代码执行沙箱、上下文缓存与评测编排，而不能只比较模型 API 账单。再次，Terminal-Bench、SWE-Bench Pro 等任务可能存在训练环境泄漏，公开 recipe 是否复用了相同任务模板、提示词或测试基础设施，也会影响泛化结论。
更可靠的验证方式应包括：在统一推理预算和工具权限下重跑基线；按任务难度拆分成功率；报告平均步数、重试率与沙箱超时率；再加入未公开工具和异构仓库，检验策略是否真正学会操作，而不是记忆固定工作流。
对开发者与研究团队的落地意义
FireFlash 配方最有价值的部分，是把“环境准备—轨迹生成—奖励验证—策略更新—评测执行”串成可复现流程，而不是只交付一组闭源模型权重。研究者可以按自身任务域替换环境，同时保留长程 rollout 的训练原则；中小团队也能从任务难度分层、异步奖励处理和统一 harness 开始改造现有 PPO、GRPO 或其他 Agentic RL 流程。
不过，公开 recipe 不等于低成本复现。64 张 B300 仍是高端训练资源，而且 300B 模型即使采用 MoE，路由负载、专家并行和检查点存储也会带来显著通信与 I/O 开销。计划开放的权重仍是必要条件；在权重、数据、环境配置和训练脚本全部齐备前，更准确的定位是一个值得关注、但尚待独立复现的长程 Agentic RL 工程方案。
—— 完 ——消息来源：Reddit r/LocalLLaMA (2026-11-05)
主题标签： #FireFlash #智能体强化学习 #长程智能体 #Coding Agent #MoE
编辑部与事实核查说明：本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译，经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏，欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区