SD-ViT让ViT人脸识别按预算提前退出，无需重建图库

摘要：SD-ViT通过随机深监督训练视觉Transformer，使中间层直接输出可辨识身份嵌入。训练时，每次迭代随机选择一个中间块，经与末层共享的嵌入头和分类器施加加权间隔惩罚Softmax损失，从而把各深度表征约束到同一嵌入空间。该方法允许推理端按算力预算选择固定深度退出点，并直接与完整深度图库比对，无需重新提取图库特征或增加适配层。论文报告其在IJB-C上距同骨干常规训练不超过0.4个百分点，半数计算量下可恢复自身全深性能的96%以上。

---

核心思路：把“提前退出”变成可直接匹配的身份嵌入

SD-ViT针对视觉Transformer人脸识别中的固定深度推理问题。常规ViT虽然会通过最终分类损失间接约束中间层，但中间表征并不会被直接要求形成可用于身份相似度比较的嵌入，因此浅层退出点即使结构上存在，也未必能直接承担识别任务。

SD-ViT引入随机深监督：在每次训练迭代中，从中间块中随机抽取一个位置，将其输出送入与最终层相同的嵌入头，并使用带间隔惩罚的加权Softmax损失训练。由于末层和中间层共享嵌入头与分类器，各深度会被约束到同一身份嵌入空间。推理时，系统可以按设备算力预算选择固定退出深度，所得探针嵌入可直接与完整深度生成的图库嵌入比较。

这一设计的关键并不是动态预测每个样本应该在哪一层退出，而是在训练后提供多个可预测、可预算选择的固定深度出口。它把复杂的早退决策转化为部署前可确定的系统配置。

训练机制：共享分类器形成跨深度对齐

标准ViT中间层主要接收最终损失的梯度反传。不同深度的表征可能共享语义方向，却没有直接受到“该输出必须可独立嵌入身份空间”的约束。

SD-ViT在第 (t) 次迭代中以概率 (p_t) 选择一个中间块 (h_t)，其分类输出可写为：

[ L_{SD}=\sum_t p_t\left[\alpha L_{CE}(f_e(h_t),y)+\beta L_{Margin}(f_e(h_t),y)\right] ]

其中，(f_e) 是共享嵌入头，(L_{CE}) 为常规身份分类损失，(L_{Margin}) 为间隔惩罚Softmax损失。最终层仍使用原有训练目标，使模型保持完整深度性能。

随机采样有两个工程价值：

• 不必在每次前向中为所有中间层计算完整辅助损失，控制训练显存与计算开销。
• 所有深度持续获得直接监督，避免某一固定辅助层过拟合或形成训练顺序偏差。

共享嵌入头和分类器是方法成立的前提。如果每个退出点各自配备分类器或投影层，训练目标会鼓励各层形成彼此独立的空间，跨深度图库匹配便不再成立。

图库一致性：省掉的不只是推理计算

人脸识别图库通常存储注册图像的嵌入，而不是保留原图并在每次查询时重新运行模型。因此，大多数早退方法虽然减少了探针侧计算，却会遇到图库域偏移：早退嵌入与完整深度图库嵌入不在同一空间，必须重建图库、增加蒸馏损失，或在查询路径插入适配层。

SD-ViT利用共享分类器施加的身份监督，使早退嵌入与全深嵌入处于兼容空间。部署迁移因此更直接：保留既有完整深度图库，探针在选定深度输出嵌入后即可计算余弦相似度，无需重新注册全部受试者，也无需额外适配网络。

这一优势对大规模图库尤其重要。图库重建不仅消耗GPU推理时间，还可能触发数据访问、隐私审计和重新注册流程；其运维成本往往远高于单次在线查询。

性能与计算权衡

论文在IJB-C等既有基准上报告，SD-ViT的全深结果与相同骨干的常规训练相差不超过0.4个百分点。更值得关注的是退出点的效率：

• 在约50%计算成本下，早退探针可恢复其自身全深性能的96%以上。
• 从四分之一深度开始，使用在全深配置上校准的单一验证阈值仍可工作。
• 图库无需修改，早退嵌入可直接与既有全深图库匹配。

这里的“50%计算成本”应理解为特定骨干和运行配置下的整体计算量比例，而不是所有硬件上的严格墙钟时间减半。Transformer前向成本通常随深度近似线性增长，但实际延迟还受到批大小、算子融合、内存带宽和早期退出分支开销影响。系统部署仍需分别测量端到端P50/P95延迟、吞吐量和峰值显存。

评测局限与复现检查点

结果来自作者在既有基准上的实验，尚不能直接等同于真实视频门禁、移动端或大规模检索系统中的收益。评测时应额外检查：

1. 不同退出深度的识别率、误接受率和误拒绝率，而不只是相对性能恢复比例。
2. 单一阈值跨深度可用是否覆盖不同人群、采集设备和环境噪声。
3. 与动态早退、蒸馏式早退和图库重建方法相比的端到端成本。
4. 随机深监督是否需要增加训练轮数，以及多个随机种子下的稳定性。
5. 早退探针与全深图库之间的相似度分布是否随时间、身份规模或模板更新策略变化。

尤其需要注意，96%的“自身全深性能恢复”是相对指标。若全深模型在真实部署中的绝对准确率较低，比例恢复仍可能不足以满足安全要求。生产系统仍应按错误接受成本重新校准阈值，并分别报告验证与开放集识别表现。

开发者落地建议

对需要兼顾识别质量和推理成本的团队，SD-ViT提供了一条相对低迁移成本的路径：保留标准全深图库，先用共享嵌入空间训练出多个可用退出点，再按不同硬件档位配置固定深度，而不是为每个部署档位重新生成图库。

实施时可按以下顺序推进：

• 先复现论文中的深度—性能曲线，确认骨干网络、采样概率和损失权重对退出点的实际影响。
• 离线导出全深图库嵌入，保留模型版本、预处理参数和归一化方式。
• 在目标设备上分别测量全深、二分之一深度和四分之一深度的延迟、吞吐及显存。
• 用独立业务数据重新校准验证阈值，并验证跨深度与跨设备的稳定性。
• 模板或图库更新时统一执行全深重提取，避免不同版本嵌入混入同一索引。

总体而言，SD-ViT的价值不在于刷新人脸识别峰值，而在于用一套训练目标打通中间层输出、预算化推理和既有图库复用之间的接口，让早退策略更接近可部署的系统工程选项。

---

消息来源：Hugging Face Daily Papers (2026-11-02)

—— 完 ——

主题标签： #SD-ViT 关注 #人脸识别 关注 #Vision Transformer 关注 #随机深监督 关注 #提前退出 关注