AuXSpec以执行反馈训练Lean规格模型,开放权重与数据
摘要:ETH AlgOpt 提出 AuXSpec:在 Lean 中把声明式后置条件与可执行实现配对,以类型类解析或等价性证明建立对应,再把两者在测试用例上的一致性用作强化学习奖励。团队构建了 3,037 道 LeetCode 衍生题目并扩展出 1.95 万条 Codeforces 训练样本,训练 9B 与 27B 规格生成模型;论文报告 AuXSpec-Test 和域外 Verina 上显著提升,并开放权重、题目、测试及 300 题人工审阅基准。该方法降低了自动形式化的反馈成本,但训练开销、奖励塑形、独立复现与公平基线仍待核验。
核心结论:把证明型反馈改造成执行型反馈
AuXSpec 解决的不是如何让语言模型直接生成完整证明,而是如何低成本判断一份自动生成的 Lean 程序规格是否忠实表达了题目意图。框架将声明式后置条件与对应的可执行实现配对:能够通过类型类解析得到可执行实例时直接复用;无法自动构造时,再单独定义实现并提供形式化等价证明。测试用例随后同时驱动声明式规格与可执行实现,两者的一致性被用作强化学习奖励。
这一设计把训练反馈从昂贵且稀疏的完整证明,转化为可批量执行的验证过程。它没有消除形式化保证,但重新安排了成本:规格生成模型负责探索候选解,Lean 负责 elaboration 与类型检查,可执行测试负责提供密集反馈,形式化等价证明则约束测试实现与声明规格之间的语义桥梁。
核心机制:声明规格与可执行对应物
给定自然语言问题 p 和模型生成的 Lean 后置条件 s,AuXSpec 试图构造可执行对应物 e_s:
- 类型类解析优先:如果相关数据类型和实例可以通过 Lean 的类型类机制解析,系统直接获得可用于执行测试的实现,避免重复编写参考代码。
- 等价性证明兜底:当自动解析不可行时,单独定义可执行实现,并证明它与声明式规格等价。这种路径保留了形式语义约束,但把证明成本集中到规格与执行层之间的对应关系上。
- 执行一致性形成奖励:对测试输入集合
X,概念上可把奖励写成r_exec(s) = (1/N) × Σ_i 1[EvalDecl(s, x_i) = EvalExec(e_s, x_i)]。实际实现是否采用二值、分层或额外惩罚项,原采集摘要没有展开,因此该公式只描述核心判定逻辑,而非论文的精确奖励函数。 - 训练闭环:候选规格经过 Lean 检查和测试执行,不一致结果成为负反馈,一致结果成为正反馈;团队再利用专家迭代筛选与扩充训练数据。
关键工程收益在于,一个被拒绝的候选规格不再必须附带完整证明,验证器也能把语义检查转换为可自动化的执行任务。不过,类型类解析不是万能的:涉及复杂状态、副作用、I/O、非确定性或不满足类型类约束的规格,仍可能落入需要独立实现和等价性证明的昂贵路径。
数据与模型开放
论文使用 AuXSpec 构建了 3,037 道 LeetCode 衍生题目,并通过 Codeforces 上的专家迭代把训练规模扩展到 1.95 万条样本。团队同时发布 9B 与 27B 两个训练后模型的权重,以及题目、测试用例和 300 题规模的 AuXSpec-Test。后者经过专家审阅,并配有正确性证明,规格正确性的证据强于仅靠自动生成测试的普通代码基准。
采集材料没有给出这些资产的许可证、训练数据污染检查、训练 token 数或完整超参数。特别是 27B 基座在摘要中标注为 Qwen3.8-27B,正式复现前应以发布模型卡、权重哈希和具体 revision 核验其可用性,不能只依赖正文中的版本字符串。
论文成绩与评测口径
| 评测集 | 指标 | 9B 模型 | 27B 模型 | |---|---:|---:|---:| | AuXSpec-Test | pass@4 | 0.7% → 82.7% | 14.3% → 84.3% | | Verina | 摘要报告的前后变化 | 7.0% → 90.5% | 21.9% → 90.5% |
在域外的 Verina 基准上,论文使用原始提示,9B 与 27B 模型均报告达到 90.5%。与此前开源规格模型 VeriSpecGen-30B-A3B 相比,论文给出的 pass@1 结果为:对手 47.6%,AuXSpec 两个模型分别为 73.7% 和 84.5%。这组结果说明执行一致性奖励不仅能拟合 AuXSpec-Test,对未参与训练的规格生成任务也有明显迁移效果。
但成绩不能全部按同一口径解读:摘要将对手的 63.9% 标为 pass@10,却与自家的 pass@4 数值直接对照,采样预算并不一致;所谓超过所有前沿模型也没有列出完整模型名单、版本和推理参数。摘要还未提供随机种子、方差、置信区间、训练成本或独立复现结果。因此,最可信的证据是经过专家审阅的 AuXSpec-Test,以及使用原始提示的 Verina 域外测试,而不是跨 pass@k 的头号比较。
工程权衡:验证器、显存与正确性缺口
验证吞吐可能比生成更早成为瓶颈
每个训练候选都可能触发 Lean elaboration、类型类搜索、依赖编译以及多组沙箱测试。若一轮生成 K 个候选、每个候选执行 N 个测试,仅测试执行就接近 O(K × N),而编译器启动、缓存命中率和并行调度会进一步改变实际吞吐。工程上应复用已编译依赖、缓存类型类实例、把证明检查与测试执行拆成独立工作池,并记录每个候选的编译时间和拒绝原因。
9B 可能是更合理的默认部署档位
若按稠密 BF16 权重粗算,权重存储约为 2 × P bytes:9B 模型仅权重就接近 18GB,27B 接近 54GB,尚未计入 KV Cache、运行时工作区和量化元数据。论文数据中,27B 在 AuXSpec-Test 的 pass@4 只比 9B 高 1.6 个百分点,但在 Verina pass@1 上高 10.8 个百分点。若业务主要处理 LeetCode 风格题目,9B 的成本收益比可能更好;面对复杂或跨域规格,27B 的额外容量才更可能产生价值。
执行一致不等于数学正确
有限测试只能约束被测试覆盖的行为。如果声明规格与可执行实现共享同一个错误假设,或者测试集遗漏边界条件,两者仍可能稳定一致。类型类实例提供的是结构化 lawfulness,不自动保证任务语义;等价性证明路径更强,但也不能仅凭测试集证明候选规格覆盖了全部需求。
因此,AuXSpec 更适合作为规格生成与筛选器,而不是最终正确性的唯一裁决者。生产流水线应把“规格可编译”“规格与执行实现等价”“被描述程序满足规格”拆成三个独立质量门。
开发者落地建议
- 先以 9B 做基线:固定 Lean 版本、依赖和模型 revision,在自有题目上比较 9B 与 27B,而不是直接采用论文的跨 pass@k 结论。
- 把生成器接入 CI:候选规格先经过 elaboration、类型检查和测试执行;任何类型类解析失败都应显式进入等价性证明审核队列。
- 隔离执行环境:生成代码和测试程序应在无网络、只读文件系统和资源配额下运行,设置超时、内存限制及确定性随机种子。
- 扩大行为覆盖:除固定测试外加入属性测试、变形测试、边界输入和 mutation testing,并记录规格分支与测试输入的覆盖率,避免奖励模型只满足有限样例。
- 分离三类证明责任:不要把“测试通过”“实现与规格等价”和“程序满足需求”合并为一个验收分数;高风险规格仍需人工审查或独立形式化证明。
- 统一复现实验口径:比较模型时固定 pass@k、温度、最大生成长度、重试次数和上下文预算,并公开多随机种子结果;确认训练数据与评测题之间不存在近重复泄漏。
- 核查发布物权利边界:上线前确认模型权重、训练数据、题目描述和测试用例各自的许可证及再分发条件。
AuXSpec 的真正贡献不是让大模型更会写 Lean 语法,而是为自动形式化建立了可扩展的语义反馈通道。只要执行一致性奖励的覆盖偏差、类型类解析边界和训练成本得到独立审计,这套方法就具备进入形式化代码工具链的潜力。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-16)
主题标签: #自动形式化 #Lean #形式化规格 #可执行后置条件 #强化学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区