ArXiv研究:对比Next-Chunk Reasoning RL与Mixed SFT,揭示无CoT数据训练策略的优劣
文 / Mr.Xu 社区投稿
发布时间: · 4 次阅读
摘要:ArXiv团队发布了一项关于无链式思维(no-CoT)数据训练策略的研究,旨在评估Next-Chunk Reasoning RL与一种更简单但有效的替代方法——Mixed SFT(混合监督微调)的优劣。研究发现,尽管Next-Chunk Reasoning RL在利用无CoT数据方面具有潜力,但Mixed SFT在训练计算量减少60倍的情况下,实现了更高的后训练性能天花板。该优势在领域内数学推理和领域外推理任务中均表现一致,强调了在完整训练流程中评估无CoT训练策略的重要性。
研究背景
近年来,利用无链式思维(no-CoT)数据训练大语言模型(LLM)成为研究热点。no-CoT数据,如解题步骤和教科书推导,包含丰富的推理内容,但缺乏显式的链式思维标注。Next-Chunk Reasoning RL是一种新兴方法,通过训练模型生成隐式推理轨迹,并根据预测下一段文本的能力对其进行奖励。然而,现有评估主要针对传统监督微调(SFT)基线,未能明确区分RL方法本身的收益与更有效地利用无CoT数据的收益。
研究方法
ArXiv团队通过一项受控研究,对比了Next-Chunk Reasoning RL与Mixed SFT的性能。Mixed SFT是一种简单的单阶段监督微调方法,联合训练于无CoT和长CoT数据上。
主要发现
- 性能对比:尽管Next-Chunk Reasoning RL在利用无CoT数据方面具有潜力,但Mixed SFT在训练计算量减少60倍的情况下,实现了更高的后训练性能天花板。
- 一致性优势:该优势在领域内数学推理和领域外推理任务中均表现一致。
- 训练效率:Mixed SFT不仅在性能上占优,还在训练效率上大幅领先。
- 评估重要性:研究强调了在完整训练流程中评估无CoT训练策略的重要性,指出仅凭预训练阶段的准确性提升无法保证后训练阶段的性能提升。
技术亮点
- 混合监督微调(Mixed SFT):一种创新的训练策略,通过联合利用无CoT和长CoT数据,简化了训练流程并提升了性能。
- 训练效率优化:在保持高性能的同时,大幅降低了计算成本。
- 跨领域适用性:该方法在数学推理和跨领域推理任务中均表现出色,展示了其广泛的适用性。
行业影响
这项研究为无CoT数据训练策略的选择提供了新的见解,强调了Mixed SFT在提升模型性能和训练效率方面的潜力。对于AI开发者而言,这项研究提供了一种更高效的训练方法,有助于在资源受限的环境中实现更优的模型性能。
开发者建议
- 尝试Mixed SFT:在处理无CoT数据时,建议尝试Mixed SFT方法,以实现更高的性能和更低的计算成本。
- 评估完整流程:在评估无CoT训练策略时,应考虑完整训练流程中的性能表现,而不仅仅是预训练阶段的准确性。
- 关注训练效率:在追求高性能的同时,不应忽视训练效率,Mixed SFT提供了一种有效的平衡方案。
—— 完 ——消息来源:ArXiv cs.AI (2026-08-24)
主题标签: #ArXiv #无CoT数据 #监督微调 #推理RL #训练效率
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区