arXiv发布知识蒸馏研究：提升糖尿病视网膜病变分级效率

摘要：arXiv发布了一项关于知识蒸馏的研究，旨在提升糖尿病视网膜病变分级的效率。研究比较了ResNet-50、MobileNetV3-Large和Swin Transformer-Tiny作为教师模型，将知识蒸馏至MobileNetV3-Small学生模型的效果。实验表明，在APTOS 2019数据集上，使用Swin Transformer-Tiny作为教师模型时，学生模型在单次种子实验中达到了0.9093的二次加权kappa值，显著优于无蒸馏基线（0.8804）。该方法在保持高性能的同时，将参数量减少了18.07倍，展示了知识蒸馏在资源受限硬件部署中的潜力。

---

研究背景与动机

糖尿病视网膜病变（Diabetic Retinopathy, DR）分级对于早期诊断和治疗至关重要，但传统方法在资源受限的硬件上部署困难。为此，研究人员探索了知识蒸馏技术，以提升分级效率并降低模型复杂度。

方法与实验

研究采用了基于离线响应的知识蒸馏方法，比较了三种教师模型（ResNet-50、MobileNetV3-Large和Swin Transformer-Tiny）将知识传递给MobileNetV3-Small学生模型的效果。实验在APTOS 2019数据集上进行，采用了3x4x2的教师模型、温度参数和硬标签权重组合进行筛选，并在三个种子下评估了六种配置和无蒸馏基线的性能。

主要发现

1. 性能表现：使用Swin Transformer-Tiny作为教师模型时，学生模型在单次种子实验中达到了0.9093的二次加权kappa值，显著优于无蒸馏基线（0.8804）。
2. 模型效率：学生模型仅使用了1.52M参数和5.94MB存储空间，相较于Swin Transformer-Tiny，参数量减少了18.07倍。
3. 参数敏感性：温度和硬标签权重对性能的影响依赖于教师模型和具体配置，而小幅度性能差异对随机种子敏感。

工程权衡与挑战

• 性能与效率的平衡：知识蒸馏在保持高性能的同时，显著降低了模型复杂度，适合资源受限的硬件部署。
• 参数敏感性：温度和硬标签权重的选择需要根据具体应用场景进行调整，增加了调优的复杂性。
• 外部验证必要性：尽管在APTOS 2019数据集上表现优异，但独立外部验证对于评估方法的泛化能力仍然必要。

开发者建议

1. 模型选择：建议开发者根据硬件资源限制选择合适的教师模型，Swin Transformer-Tiny在本次实验中表现最佳。
2. 参数调优：建议在部署前进行广泛的参数调优，以找到最佳的温度和硬标签权重组合。
3. 外部验证：在特定应用场景中，建议进行独立的外部验证，以确保模型在不同数据集上的泛化能力。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-28)

—— 完 ——

主题标签： #知识蒸馏 关注 #糖尿病视网膜病变 关注 #模型压缩 关注 #资源受限硬件 关注 #arXiv 关注