续接反馈驱动程序策略进化,Craftax长程任务实现零LLM调用迁移
摘要:论文提出面向Craftax长程任务的“续接反馈”框架:编码智能体依据模拟器反馈合成可执行规则程序,并以单集回报、层级目标和信念更新构成级联评分,缓解仅按最终回报局部优化导致成功率退化。论文报告,级联反馈将抵达最终阶段的比例由不足1%提升至50%,最终Boss击败率为28%。框架再把固定环境解释器I与可编辑规则程序p0分离,训练目标编译器Cθ,将结构化任务映射为新程序;5次独立搜索所得编译器仅以短任务训练,即可零样本迁移至长任务,执行阶段无需调用LLM。
核心结论
这项工作把LLM从在线控制器移到离线程序合成环节:在Craftax中,编码智能体根据模拟器反馈生成并迭代一段可执行规则程序;部署阶段由固定解释器执行该程序,不再发起LLM推理调用。其关键贡献并非简单用代码替代策略网络,而是把能力形成拆成两个层次:先通过反馈级联获得单任务能力,再学习一个把结构化目标 g 编译为新规则程序 p_g 的目标编译器 C_θ。
这一区分很重要。若每个新任务都要重新运行昂贵的代码合成搜索,系统只实现了“把模型调用前移到离线”;只有当已获得的策略结构能够被复用时,才真正降低多任务开发的边际成本。论文在Craftax上的结果支持这种设计,但证据仍局限于单一游戏模拟器。
反馈级联如何缓解长程信用分配
Craftax是一个部分可观测、程序化生成的环境。仅使用episode return作为优化信号时,奖励过于稀疏:一次局部代码修改可能改善某个中间片段,却改变后续行为,最终反而降低通关率。论文因此构造了由粗到细的反馈级联:
- 单集回报:保留完整任务结果,用于判断最终策略是否真正完成任务。
- 层级目标:把长程任务拆成中间里程碑,使修改对阶段目标的贡献可以被单独评分。
- 信念更新:利用模拟器中的状态更新构造更密集的中间信号,缓解部分可观测环境中的信用分配问题。
“续接”反馈的关键意图,是让一次修改的评分不仅取决于孤立前缀的即时表现,还与其带来的后续状态延续有关。不过,摘要没有披露具体评分函数、续接长度、归一化方式或搜索接受规则,因此不能把它简单理解为某个已知的奖励塑形算法。
论文进一步把控制器拆成固定环境解释器 I 与可编辑规则程序 p_0。其中 I 承载模型、记忆和技能,p_0 保存可由编码智能体修改的任务逻辑。两个阶段由此形成:
- 能力形成阶段:代理围绕
p_0生成、测试和修订程序,通过级联反馈得到单任务策略p*。 - 能力复用阶段:优化目标编译器
C_θ,使其能够把新任务g转换为新程序p_g,再交给同一解释器执行。
整体数据流可概括为:
g → C_θ → p_g → I → Craftax
这里的“零样本”是指迁移到长任务时不再进行任务特定微调或调参,并不意味着编译器未经训练。摘要用 C_θ 表示可优化编译器,但未说明它究竟采用何种参数化形式、是否基于神经模块、代码模板还是混合实现,这会直接影响复现与部署难度。
论文报告的实测表现与评测边界
在Craftax中,论文给出的核心对比如下:
| 反馈方式 | 抵达最终阶段 | 击败最终Boss | |---|---:|---:| | 仅使用episode级反馈迭代 | 不足1% | 未报告 | | 反馈级联 | 50% | 28% |
这一差距说明,在长程程序优化中,提高中间反馈的信息密度可能比继续强化单集奖励更关键。50%的最终阶段到达率和28%的Boss击败率也表明,系统已获得部分长程能力,而非仅停留在会执行短任务动作的层面。
在编译器实验中,论文进行了5次独立搜索,仅使用短任务进行训练,随后测试向更长任务的迁移。论文称所得编译器能够零样本迁移,且在执行阶段不调用LLM。但摘要没有给出每次搜索的迁移成功率、最差任务表现或方差,因此“成功迁移”目前只能作为定性结论。
评测仍有明显限制:
- 只有一个模拟环境,尚不能证明方法能迁移到机器人、工业流程或其他真实系统。
- 未披露使用的编码模型、候选程序数量、搜索轮数、模拟器耗时、硬件与总token成本。
- 没有给出随机种子数量、置信区间和显著性检验;从不足1%到50%的巨大差距虽具吸引力,仍需独立复现。
- 基线只描述为episode-level refinement,缺少与推理期LLM智能体、传统规划器或程序搜索方法的等算力比较。
- 信念更新可被密集评分,暗示框架可能依赖模拟器内部状态或特权观测;真实任务能否提供同等信号尚未验证。
Craftax的程序化生成有助于检验环境内泛化,但不能自动等同于现实世界的sim-to-real能力。尤其当目标编译器只学习如何修改某一种解释器接口时,它更可能学到Craftax特有的状态结构和行为规律。
工程权衡:省下在线推理,是否只是转移成本
1. 在线成本下降,但离线搜索仍然昂贵
策略执行时不再需要LLM生成token,也消除了模型服务网络往返和模型侧推理抖动。在解释器、环境与程序版本固定时,同一输入更容易复现;但若底层模型或环境本身具有随机性,程序策略仍不保证完全确定。论文没有报告运行时延、吞吐和内存,因此不能据此给出具体性能倍数。
成本被从每次执行转移到了程序合成:编码智能体要生成候选代码、运行模拟器、读取反馈并反复修订。实际采用时应计算总成本,而不能只看部署阶段“零LLM调用”。
2. 密集反馈依赖可验证的中间状态
层级目标和信念更新之所以能够指导优化,是因为模拟器可以判断程序是否推进了某个子目标或正确更新了内部状态。现实任务通常缺少这种特权信号,可能只能依赖过程日志、规则验证器、学习型奖励模型或人工反馈。若代理信号与最终目标不一致,程序还可能学会钻反馈函数的空子,而非真正完成任务。
3. 可执行代码提高可审计性,也扩大攻击面
规则程序可以被阅读、静态检查和单元测试,比完全黑盒的神经策略更便于调试;但由LLM生成的代码也可能包含错误逻辑、资源泄漏、无限循环或越权操作。部署时必须把程序生成与执行环境隔离,并限制文件系统、网络、CPU时间和内存权限。
4. 固定解释器与可编辑程序之间存在版本耦合
将通用能力放入 I、把任务差异放入 p_g,可以缩小提示和程序生成空间;但一旦解释器修改了记忆结构、技能接口或状态语义,旧程序可能悄然失效。生产系统需要为解释器、程序schema和任务定义分别设置版本,并通过固定轨迹做回归测试。
5. “零样本迁移”仍有搜索方差风险
5次独立编译器搜索说明结果并非只来自单个幸运样本,但也意味着搜索过程可能存在明显方差。完整评测应报告每次搜索的均值、最差值和失败类型,并使用未见过程化种子、更长任务及不同目标结构进行交叉验证。
开发者落地与部署建议
- 先建立可复现基线:固定模拟器版本、程序解释器、模型版本和随机种子,同时运行episode-only、反馈级联及任务特定重编译三种对照。
- 把安全边界放在执行层:代码代理只提交补丁或程序,而非直接获得执行权限;使用API白名单、网络隔离、资源上限和差分测试拦截无效或有副作用的生成代码。
- 拆分三类接口:分别定义结构化目标、规则程序和运行环境解释器,并为每次变更保存可回放的黄金轨迹,避免环境升级破坏旧策略。
- 同时统计成功率与全生命周期成本:除最终阶段到达率外,还应记录离线LLM token、候选程序数、模拟器运行时长、代码编译失败率、运行时p50/p95延迟、内存占用及长任务最差表现。
- 针对真实环境重做信号设计:若无法获得模拟器内部状态,应使用可验证的中间产物、过程奖励模型或多层规则评分,并专门测试奖励投机行为。
- 复现公开实现:项目代码位于
github.com/vicgalle/craftax-program-policies,可在固定环境与预算下复现搜索过程,并补充缺失的方差和消融实验。
结论
这项工作的关键价值,是证明编码智能体可以从“直接替智能体行动”转向“离线合成可复用程序”,并用续接式反馈解决长程程序优化中的信用分配问题。50%的最终阶段到达率与5次短任务搜索后的零样本迁移展示了清晰潜力,但现阶段它仍是一项以单一模拟器为核心的研究结果。真正决定工程价值的,是后续能否在更强基线、完整统计报告和真实环境中证明:目标编译器学习到的是可迁移的任务结构,而不是Craftax接口与奖励函数中的偶然规律。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-14)
主题标签: #编码智能体 #程序策略 #续接反馈 #Craftax #目标编译器
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区