arXiv发布模型压缩技术基准测试：针对旋转机械预测性维护的跨异构边缘平台分析

摘要：arXiv发布了一项关于模型压缩技术的基准测试研究，重点关注旋转机械的预测性维护。研究比较了四种先进的模型压缩方法，并评估了这些方法在九种异构计算平台上的表现，包括资源受限的边缘设备和高性能处理器。研究发现，基于知识蒸馏的压缩方法在分类性能、推理速度和压缩率之间实现了最佳平衡，模型在所有设备上实现了超过90%的加速，同时保持了91.22%的平衡F1分数，模型大小缩减了98.9%，且预测性能下降极小。这项研究为工业5.0背景下高效部署深度学习模型提供了重要参考。

---

研究背景与挑战

随着工业5.0的到来，自主系统与人类的深度融合对工业的可持续发展至关重要。然而，在资源受限的边缘设备上高效运行复杂的深度学习模型仍然面临诸多挑战，包括硬件异构性、模型压缩带来的性能下降，以及缺乏针对预测性维护等应用场景的明确压缩技术指导。

研究方法

本研究针对旋转机械的预测性维护任务，采用真实世界的数据集，对四种先进的模型压缩技术进行了全面比较：

1. 剪枝（Pruning）：通过移除冗余权重来减少模型参数数量。
2. 量化（Quantization）：将模型权重和激活值从高精度转换为低精度表示。
3. 知识蒸馏（Knowledge Distillation）：通过训练一个较小的“学生”模型来模仿一个较大的“教师”模型的输出。
4. 低秩分解（Low-Rank Factorization）：通过矩阵分解来近似原始权重矩阵。

研究将这些压缩后的模型部署在九种不同的计算平台上，涵盖从资源极度受限的边缘设备到通用和高性能处理器的广泛范围。

主要发现

• 知识蒸馏脱颖而出：在所有压缩方法中，基于知识蒸馏的压缩方法在分类性能、推理速度和压缩率之间实现了最佳平衡。

  • 性能表现：模型在所有设备上实现了超过90%的加速。
  • 预测精度：保持了91.22%的平衡F1分数，与未压缩模型相比，预测性能下降极小。
  • 模型大小：模型大小缩减了98.9%。

• 硬件异构性影响：不同压缩方法在不同硬件平台上的表现存在显著差异。例如，剪枝和量化在某些高性能处理器上表现良好，但在资源受限的边缘设备上可能导致不可接受的性能下降。

• 工程权衡：知识蒸馏虽然实现了最佳的整体性能，但训练时间较长，需要更多的计算资源。相比之下，剪枝和量化方法训练速度更快，但在某些情况下可能导致精度损失。

实际应用与建议

本研究为工业界在资源受限环境中部署深度学习模型提供了以下建议：

1. 优先考虑知识蒸馏：对于需要高精度和高效推理的应用，知识蒸馏是最佳选择。
2. 根据硬件特性选择压缩方法：在资源极度受限的设备上，量化方法可能更为合适；而在高性能设备上，剪枝和低秩分解可以提供更好的性能。
3. 结合多种方法：在某些情况下，结合多种压缩方法可以进一步优化模型性能。例如，先进行剪枝再进行知识蒸馏可以同时实现高压缩率和良好的预测性能。

结论

这项研究通过系统地比较不同模型压缩技术在异构边缘平台上的表现，为工业5.0背景下高效部署深度学习模型提供了清晰的路径。研究结果表明，知识蒸馏在预测性维护应用中具有显著优势，为实现计算成本和能耗的大幅降低提供了可行的解决方案。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-23)

—— 完 ——

主题标签： #模型压缩 关注 #边缘计算 关注 #知识蒸馏 关注 #预测性维护 关注 #工业5.0 关注