智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #大语言模型 #推理优化 #强化学习 #NSD

Hugging Face提出Negative Self-Distillation框架:优化大语言模型推理能力

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face的研究团队提出了一种名为Negative Self-Distillation (NSD)的新框架,旨在解决大语言模型(LLM)在复杂推理任务中性能下降的问题。NSD通过引导模型远离有缺陷的推理路径,而非模仿特权信息生成的推理轨迹,从而避免抑制模型的不确定性和探索性行为。该框架采用动态门控机制,识别并隔离关键推理标记,确保梯度更新仅针对行为缺陷,同时保留模型的语言先验能力。实验结果表明,NSD在多个基准测试中显著优于传统的On-Policy Self-Distillation (OPSD)和其他无标签自举强化学习方法。


背景与挑战

大语言模型(LLM)在自然语言处理任务中表现出色,但在复杂推理任务中,其性能常常受到抑制。传统的On-Policy Self-Distillation (OPSD)方法通过模仿特权信息生成的推理轨迹来提升模型性能,但这种方法会抑制模型的不确定性和探索性行为,从而影响其在复杂问题上的表现。

Negative Self-Distillation (NSD)框架

为了解决上述问题,Hugging Face的研究团队提出了Negative Self-Distillation (NSD)框架。NSD通过以下方式优化LLM:

  1. 生成负条件:模型自身生成针对特定问题的负条件,例如模拟“粗心的推理者”,而非依赖真实答案或外部监督。
  2. 远离负教师:通过推动学生的分布远离这些自生成的负教师,避免模仿有缺陷的推理路径。
  3. 动态门控机制:设计了一个动态门控机制,自动识别并隔离关键推理标记,确保梯度更新仅针对行为缺陷,同时保留模型的语言先验能力。

技术亮点

  • 动态门控机制:有效区分推理关键标记和基础语言标记,避免对模型语言能力的损害。
  • 负条件生成:通过模型自身生成负条件,避免了对真实答案或外部监督的依赖。
  • 性能提升:在多个基准测试中,NSD显著优于OPSD和其他无标签自举强化学习方法。

行业影响

NSD框架的提出为LLM在复杂推理任务中的性能提升提供了新的思路,特别是在需要高度不确定性和探索性的场景中。该框架的应用有望推动AI在推理密集型任务中的进一步发展,如法律咨询、医疗诊断和科学研究等。

开发者建议

  • 实验与验证:建议开发者尝试将NSD框架应用于现有的LLM,以验证其在不同任务中的效果。
  • 优化与调整:根据具体应用场景,调整负条件生成和动态门控机制,以获得最佳性能。
  • 关注后续研究:持续关注Hugging Face在NSD框架上的后续研究,以获取最新的优化和更新。

消息来源:Hugging Face Daily Papers (2026-09-10)

—— 完 ——

主题标签: #Hugging Face #大语言模型 #推理优化 #强化学习 #NSD

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…