CE-RLVR开源SymCE数据集:推进数学定理反例生成与RL训练研究
摘要:CE-RLVR团队发布SymCE数据集,包含4707个经过验证的本科代数和实分析错误猜想,并提供可执行的验证器作为奖励函数。SymCE不仅是一个数据集,还构建了一个用于训练大语言模型(LLM)的环境。研究表明,使用稀疏奖励的强化学习(RLVR)可以有效避免模仿陷阱(imitation trap),并显著提升模型在定理反例生成中的表现。实验结果显示,Qwen3-4B模型在训练后对真实定理的识别准确率从0提升至0.66,超过了基线模型,并在多个基准测试中表现出色。
核心突破
CE-RLVR团队推出了SymCE,这是一个包含4707个本科代数和实分析错误猜想的全新数据集,每个猜想都配备了可执行的验证器。这些验证器不仅用于验证错误,还作为强化学习中的奖励函数,为模型提供训练环境。
技术亮点
- 数据集与训练环境一体化:SymCE不仅是一个静态数据集,还构建了一个动态的训练环境,验证器作为奖励函数指导模型学习。
- 模仿陷阱的突破:研究揭示了仅使用监督微调(SFT)的模型在处理反例生成时容易陷入“模仿陷阱”,即对真实定理的识别能力大幅下降。而通过稀疏奖励的强化学习(RLVR),可以有效修复这一问题,将真实定理的识别准确率从0提升至0.66。
- 模型性能:在实验中,Qwen3-4B模型在训练后表现出色,超越了所有评估的7B开源数学专用模型,并在GSM8K、MATH-500和MMLU-college-math等基准测试中表现优异。
- 人类评估:对177个验证器决策的人工审计显示,准确率高达97.7%。
行业影响
SymCE的发布为数学定理证明和反例生成领域提供了新的研究工具和方法。其创新性的RLVR训练方法为LLM在复杂任务中的表现提升提供了新的思路。此外,SymCE的开放性使得研究人员和开发者能够利用这一资源进行更深入的研究和开发,推动AI在数学领域的应用和发展。
开发者建议
- 利用SymCE进行训练:开发者可以利用SymCE数据集和验证器进行模型训练,探索RLVR方法在不同模型和任务中的应用。
- 关注RLVR方法:建议关注RLVR方法在处理复杂任务中的潜力,特别是在需要高准确性和鲁棒性的场景中。
- 参与社区讨论:加入相关社区和论坛,与其他研究人员和开发者交流经验,分享研究成果。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-10-05)
主题标签: #SymCE #RLVR #数学定理证明 #大语言模型 #强化学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区