ArXiv提出SelFusion框架:革新扩散语言模型的自蒸馏技术
文 / Mr.Xu 社区投稿
发布时间: · 4 次阅读
摘要:ArXiv团队提出了一种名为SelFusion的新型自蒸馏框架,旨在解决扩散语言模型(DLMs)生成质量下降的问题。SelFusion通过不同掩码级别的两次前向传递,定义了硬模式和易模式,并通过双向知识蒸馏(KD)动态确定蒸馏方向。实验结果表明,SelFusion在指令跟随任务中显著优于其他依赖外部教师模型的知识蒸馏方法,甚至在某些配置下超越了教师模型的表现,为提升DLMs生成质量提供了实用路径。
核心突破
ArXiv团队提出了一种名为SelFusion的新型自蒸馏框架,旨在解决扩散语言模型(DLMs)生成质量下降的问题。以下是SelFusion的核心技术亮点:
-
双模式前向传递:SelFusion通过不同掩码级别的两次前向传递,定义了硬模式和易模式。硬模式使用较高的掩码概率,而易模式使用较低的掩码概率。
-
双向知识蒸馏(KD):为了在没有外部教师模型的情况下实现有效的知识蒸馏,SelFusion引入了双向KD机制。该机制根据token级别的正确性动态确定蒸馏方向,解决了易模式可能出现的过度自信问题。
-
性能提升:实验结果表明,SelFusion在指令跟随任务中显著优于其他依赖外部教师模型的知识蒸馏方法。在许多配置下,使用SelFusion训练的模型甚至超越了教师模型的表现。
技术解析
扩散语言模型(DLMs)通过缓解自回归(AR)大语言模型(LLMs)的固有延迟瓶颈,提供了更快的生成速度,但其生成质量下降的问题限制了其实际应用。尽管知识蒸馏(KD)是一种有前景的改进方向,但传统KD方法在应用于DLMs时仅能带来边际提升,甚至可能降低生成质量。SelFusion通过创新的自蒸馏机制解决了这一问题。
行业影响
SelFusion为提升DLMs的生成质量提供了新的技术路径,特别是在需要高效生成的应用场景中,如实时对话系统、创意写作助手等。其无需外部教师模型的特点也降低了计算成本和复杂性,使其在资源受限的环境中更具实用性。
开发者建议
- 实验与评估:开发者可以尝试将SelFusion应用于现有的DLMs,并评估其在不同任务上的表现。
- 优化与扩展:进一步优化SelFusion的双向KD机制,或将其扩展到其他类型的生成模型中,以探索更广泛的应用场景。
- 资源管理:利用SelFusion无需外部教师模型的特点,在资源受限的环境中部署高效的DLMs。
—— 完 ——消息来源:ArXiv cs.CL (2026-08-24)
主题标签: #ArXiv #自蒸馏 #扩散语言模型 #知识蒸馏 #SelFusion
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区