Hugging Face发布Elastic Transformer：无需重新训练即可动态调整模型计算资源

摘要：Hugging Face推出了一种无需重新训练即可动态调整计算资源的新方法——Elastic Transformer。该方法通过可微分的松弛化功能单元排序问题，将预训练Transformer模型转化为一个能够实时适应不同计算预算的单一模型。实验表明，在27个视觉和文本Transformer编码器上，该方法在高达60%的稀疏度下仍能保持平滑的性能下降，并在深度剪枝下优于一次性基线方法。例如，在50%的稀疏度下，剪枝后的DINOv3 ViT-H+/16模型在移除4.27亿参数的同时，仅损失了0.8%的ImageNet-1k线性探测准确率。此外，剪枝后的AugReg ViT-B/16模型在A100 GPU上实现了高达1.80倍的吞吐量提升和1.26倍的单查询延迟降低。Elastic Transformer的构建时间随参数量呈亚线性增长，可在几分钟内完成。

---

技术机制剖析

Hugging Face的Elastic Transformer方法通过一种可微分的松弛化功能单元排序问题，将预训练Transformer模型转化为一个能够实时适应不同计算预算的单一模型。与传统方法不同，该方法不是为每个MLP块或注意力头优化单一的重要性权重，而是通过在多个稀疏目标下对每个MLP神经元和注意力头进行联合排序，从而实现更精细的剪枝控制。具体来说，该方法通过最小化模型在软剪枝下的损失来优化功能单元的重要性排序。

工程权衡与实测表现

该方法在27个不同规模的视觉和文本Transformer编码器上进行了测试，涵盖从22M到8B参数的模型。实验结果表明，在高达60%的稀疏度下，模型性能下降平滑，并且在深度剪枝下优于一次性基线方法。例如，剪枝后的DINOv3 ViT-H+/16模型在50%的稀疏度下，移除了4.27亿参数，但仅损失了0.8%的ImageNet-1k线性探测准确率。此外，剪枝后的AugReg ViT-B/16模型在A100 GPU上实现了高达1.80倍的吞吐量提升和1.26倍的单查询延迟降低。

开发者落地与部署建议

Elastic Transformer的构建时间随参数量呈亚线性增长，可在几分钟内完成。这使得该方法在实际应用中具有很高的效率，尤其适用于需要快速适应不同计算资源的场景。开发者可以利用该方法在不重新训练模型的情况下，动态调整模型的计算资源，从而在硬件资源有限或负载波动的情况下实现更高效的部署。

结论

Elastic Transformer为Transformer模型提供了一种新的动态资源适应机制，避免了传统剪枝方法中常见的性能损失问题。该方法在多个基准测试中表现出色，展示了其在实际应用中的巨大潜力。

---

消息来源：Hugging Face Daily Papers (2026-10-14)

—— 完 ——

主题标签： #Hugging Face 关注 #Transformer 关注 #模型剪枝 关注 #动态资源适应 关注