Hugging Face发布Policy-Mask：预算感知扩散特征适应判别任务

摘要：Hugging Face推出了一种名为Policy-Mask的新方法，用于从冻结的扩散模型中选择中间特征以适应判别任务。该方法通过联合选择时间步、块和通道子集，在给定通道预算下进行优化。Policy-Mask在多个基准测试中表现优异，包括ADE20K分割任务、CIFAR-100分类任务和SPair-71k语义对应任务，展示了其在紧凑扩散表示中的实用性和高效性。

---

技术机制剖析

Policy-Mask的核心创新在于其能够根据下游任务目标，动态选择扩散模型中的时间步、块和通道子集，以适应判别任务。与传统方法不同，Policy-Mask不依赖于手工设定或仅优化少量超参数，而是通过一个预算感知策略，在给定通道预算下联合优化所有三个选择维度。

为了解决通道分数贡献随选择通道数量增长而主导时间步和块更新问题，Policy-Mask引入了基于集合基数的归一化机制，将三个策略头的规模保持在可比范围内，从而稳定联合训练过程。

工程权衡与实测表现

在多个基准测试中，Policy-Mask在匹配预算条件下优于固定提取和特征过滤基线方法：

• ADE20K分割任务：达到38.9 mIoU。
• CIFAR-100分类任务：在128维条件下达到75.4%的top-1准确率。
• SPair-71k语义对应任务：达到76.3 [email protected]。

通过组件消融实验发现，块选择对下游精度有显著影响，而最高的记录通道预算分数出现在保留256个通道时，这为紧凑扩散表示提供了一个实用的操作点。

此外，Policy-Mark还成功适配了PixArt-Σ和SD3.5 MMDiT等扩散Transformer模型，通过将U-Net通道替换为图像标记隐藏维度，进一步展示了其广泛的适用性。

开发者落地与部署建议

Policy-Mask为开发者提供了一种高效且灵活的特征选择方法，特别适用于资源受限的环境。其主要优势包括：

1. 灵活性：能够根据不同预算和任务需求动态调整特征选择策略。
2. 高效性：在多个基准测试中表现出色，适合需要高性能和低延迟的应用场景。
3. 可扩展性：适配多种扩散模型架构，包括U-Net和Transformer。

开发者可以结合具体应用场景，通过调整通道预算和时间步选择策略，进一步优化模型性能。

---

消息来源：Hugging Face Daily Papers (2026-10-20)

—— 完 ——

主题标签： #Hugging Face 关注 #扩散模型 关注 #特征选择 关注 #Policy-Mask 关注 #资源优化 关注