智客 ZICQ
EN 登录 / 注册
智客信息 前沿论文 #ArXiv #无CoT数据 #监督微调 #推理RL #训练效率

ArXiv研究:对比Next-Chunk Reasoning RL与Mixed SFT,揭示无CoT数据训练策略的优劣

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队发布了一项关于无链式思维(no-CoT)数据训练策略的研究,旨在评估Next-Chunk Reasoning RL与一种更简单但有效的替代方法——Mixed SFT(混合监督微调)的优劣。研究发现,尽管Next-Chunk Reasoning RL在利用无CoT数据方面具有潜力,但Mixed SFT在训练计算量减少60倍的情况下,实现了更高的后训练性能天花板。该优势在领域内数学推理和领域外推理任务中均表现一致,强调了在完整训练流程中评估无CoT训练策略的重要性。


研究背景

近年来,利用无链式思维(no-CoT)数据训练大语言模型(LLM)成为研究热点。no-CoT数据,如解题步骤和教科书推导,包含丰富的推理内容,但缺乏显式的链式思维标注。Next-Chunk Reasoning RL是一种新兴方法,通过训练模型生成隐式推理轨迹,并根据预测下一段文本的能力对其进行奖励。然而,现有评估主要针对传统监督微调(SFT)基线,未能明确区分RL方法本身的收益与更有效地利用无CoT数据的收益。

研究方法

ArXiv团队通过一项受控研究,对比了Next-Chunk Reasoning RL与Mixed SFT的性能。Mixed SFT是一种简单的单阶段监督微调方法,联合训练于无CoT和长CoT数据上。

主要发现

  1. 性能对比:尽管Next-Chunk Reasoning RL在利用无CoT数据方面具有潜力,但Mixed SFT在训练计算量减少60倍的情况下,实现了更高的后训练性能天花板。
  2. 一致性优势:该优势在领域内数学推理和领域外推理任务中均表现一致。
  3. 训练效率:Mixed SFT不仅在性能上占优,还在训练效率上大幅领先。
  4. 评估重要性:研究强调了在完整训练流程中评估无CoT训练策略的重要性,指出仅凭预训练阶段的准确性提升无法保证后训练阶段的性能提升。

技术亮点

  • 混合监督微调(Mixed SFT):一种创新的训练策略,通过联合利用无CoT和长CoT数据,简化了训练流程并提升了性能。
  • 训练效率优化:在保持高性能的同时,大幅降低了计算成本。
  • 跨领域适用性:该方法在数学推理和跨领域推理任务中均表现出色,展示了其广泛的适用性。

行业影响

这项研究为无CoT数据训练策略的选择提供了新的见解,强调了Mixed SFT在提升模型性能和训练效率方面的潜力。对于AI开发者而言,这项研究提供了一种更高效的训练方法,有助于在资源受限的环境中实现更优的模型性能。

开发者建议

  • 尝试Mixed SFT:在处理无CoT数据时,建议尝试Mixed SFT方法,以实现更高的性能和更低的计算成本。
  • 评估完整流程:在评估无CoT训练策略时,应考虑完整训练流程中的性能表现,而不仅仅是预训练阶段的准确性。
  • 关注训练效率:在追求高性能的同时,不应忽视训练效率,Mixed SFT提供了一种有效的平衡方案。

消息来源:ArXiv cs.AI (2026-08-24)

—— 完 ——

主题标签: #ArXiv #无CoT数据 #监督微调 #推理RL #训练效率

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…