Hugging Face提出Length Self-Distillation (LSD):优化强化学习后训练中的长度扩展问题
摘要:Hugging Face的研究团队提出了一种名为Length Self-Distillation (LSD)的新方法,用于缓解强化学习后训练中常见的“长度扩展税”(LST)问题。LST指的是在已解决查询中,模型生成的不必要冗长回复。LSD通过将已解决的提示路由到策略蒸馏,同时保留未解决提示的原始RL目标,使用在线策略的指数移动平均作为教师模型,避免了对外部模型的依赖。实验结果表明,LSD在多个变体中实现了与RL相当或更好的性能,同时显著减少了简单查询的响应长度增长。
背景与问题
强化学习(RL)后训练中的长度扩展问题,即“长度扩展税”(LST),指的是模型在处理已解决查询时生成的不必要冗长回复。尽管这种扩展在处理复杂问题时可能表明推理能力的提升,但对于已解决的简单问题却显得多余且低效。
方法与创新
为了解决LST问题,Hugging Face的研究团队提出了Length Self-Distillation (LSD)方法。LSD的核心思想是将已解决的提示路由到策略蒸馏,同时保留未解决提示的原始RL目标。具体来说,LSD使用在线策略的指数移动平均作为教师模型,无需依赖外部模型。其主要特点包括:
- 策略蒸馏:将已解决提示的输出与教师模型的输出进行比较,以优化模型的行为。
- 在线策略的指数移动平均:作为教师模型,确保蒸馏过程的动态性和适应性。
- 保留原始RL目标:对于未解决的提示,继续使用原始的RL目标进行训练。
实验与结果
实验结果表明,LSD在多个变体中实现了与RL相当或更好的性能,同时显著减少了简单查询的响应长度增长。具体数据如下:
- 在单轮推理任务中,LST从19.0%降低到-3.7%。
- 在多轮智能体任务中,LST从31.4%降低到13.7%。
行业影响与开发者建议
LSD方法为强化学习后训练中的长度扩展问题提供了一种有效的解决方案,具有以下潜在应用价值:
- 提升模型效率:减少不必要的冗长回复,提高模型在简单查询上的效率。
- 优化资源利用:降低计算和存储资源的消耗,提升整体系统性能。
- 增强用户体验:生成更简洁、更准确的回复,提升用户满意度。
对于开发者而言,可以考虑将LSD方法集成到现有的RL训练流程中,以优化模型的后训练表现。同时,建议在不同的应用场景中进行进一步验证,以评估其通用性和适用性。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-30)
主题标签: #Hugging Face #强化学习 #长度扩展税 #LSD #后训练优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区