Hugging Face发布DisaggKD：高效知识蒸馏新框架，实现教师-学生分离与融合损失优化

摘要：Hugging Face推出了一种名为DisaggKD的新知识蒸馏框架，通过将教师模型和学生模型分离到不同节点上，并采用行窗口和词汇分片上的融合损失计算方法，显著提升了知识蒸馏的效率和可扩展性。该方法在Qwen3.5-35B-A3B到9B的模型对中表现出色，不仅匹配了传统共址训练的损失，还实现了更快的训练速度。此外，融合损失的使用使得在节点数量较少的情况下也能高效训练，而分离布局在学生模型跨越多个节点时表现出更好的内存效率。

---

背景与动机

知识蒸馏（Knowledge Distillation, KD）是一种将复杂模型（教师模型）的知识转移到较简单模型（学生模型）的方法。传统的KD框架通常将教师和学生模型放在同一GPU上，但这种做法受限于每GPU的内存容量，难以扩展到更大的模型。Hugging Face推出的DisaggKD框架通过将教师和学生模型分离到不同的计算节点上，并采用创新的融合损失计算方法，解决了这一问题。

技术机制剖析

1. 教师-学生分离架构：DisaggKD将教师模型复制到多个节点上，并通过流式传输隐藏状态到学生模型。这种分离架构避免了单GPU内存的限制，使得更大规模的教师模型成为可能。

2. 融合损失计算：DisaggKD采用了一种基于行窗口和词汇分片的融合损失计算方法。这种方法在数学上等价于全词汇表的损失计算，但无需形成全词汇表的logits，从而降低了计算和内存开销。

3. 预取环机制：为了协调生产者和训练器的速度，DisaggKD引入了预取环机制，确保数据流的高效传输。

4. 内存与流量模型：DisaggKD使用闭式内存和流量模型来定位每种布局的内存限制，从而优化资源利用。

工程权衡与实测表现

• 内存效率：在Qwen3.5-35B-A3B到9B的模型对中，DisaggKD的分离布局在匹配共址训练损失的同时，训练速度更快。
• 融合损失的优势：融合损失的使用使得在节点数量较少的情况下也能高效训练，而分离布局在学生模型跨越多个节点时表现出更好的内存效率。
• 大规模模型适用性：对于更大的模型对，共址训练即使使用融合损失也会出现内存不足（OOM）的问题，而分离布局则能够成功训练。

开发者落地与部署建议

DisaggKD框架特别适合需要处理大规模模型的知识蒸馏任务。开发者可以利用该框架在资源受限的环境中训练更大的模型，同时保持高效的训练速度。建议在以下场景中优先考虑使用DisaggKD：

• 需要扩展到更大规模教师模型的知识蒸馏任务。
• 在多节点集群环境中进行训练，以充分利用分布式计算资源。
• 希望在不牺牲性能的情况下降低训练成本。

结论

DisaggKD框架通过创新的教师-学生分离架构和融合损失计算方法，显著提升了知识蒸馏的效率和可扩展性，为AI模型训练提供了新的技术路径。

---

消息来源：Hugging Face Daily Papers (2026-10-13)

—— 完 ——

主题标签： #Hugging Face 关注 #知识蒸馏 关注 #大模型训练 关注 #分布式计算 关注 #AI框架 关注