智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #arXiv #硬件评估 #跨设备 #AdaProxy #延迟排名

arXiv研究揭示跨设备硬件评估中的关键问题:排名可移植性不等于可行性可移植性

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布的一项研究对跨设备硬件评估中的关键假设进行了深入分析,指出架构排名在不同设备间的可移植性并不等同于可行性可移植性。研究通过在NAS-Bench-201和HW-GPT-Bench设备上的实验发现,尽管跨设备排名相关性较高,但在联合延迟-能耗约束下,代理设备对目标设备的可行性评估存在显著风险。研究强调了在跨设备评估中需要明确报告目标环境对所声称操作点的支持情况,并提出了AdaProxy诊断方法以改进延迟排名。


研究背景与动机

在跨设备硬件评估中,通常假设如果架构的排名在不同设备间是可移植的,那么代理设备就可以支持目标设备上的模型选择。然而,这项研究对这一假设进行了深入分析,并揭示了其潜在问题。

主要发现

  1. 排名可移植性不等于可行性可移植性:在NAS-Bench-201数据集上,跨设备排名相关性为中等,而目标设备与代理设备之间的可行集重叠并不完整。
  2. AdaProxy诊断方法:研究提出了一种名为AdaProxy的诊断方法,显著改善了延迟排名,表明观察到的边界失败并非仅仅是由于弱适应造成的。
  3. 证据瓶颈:通过精确的有限样本分割共形分析,研究发现一个有限的一侧90%阈值至少需要九个校准观测值。
  4. HW-GPT-Bench实验:在13个HW-GPT-Bench设备上的10,000个GPT架构实验中,相对于RTX3080代理设备,目标延迟的SRCC范围从0.951到0.996,但在联合约束下,代理重用违规风险从33.3%到100%。

结论与建议

研究结果表明,排名可移植性、可行性可移植性和目标特定的决策支持是三个不同的评估对象。因此,跨设备评估应明确报告哪些目标环境实际支持所声称的操作点。

行业影响

这项研究对AI硬件评估和模型选择具有重要意义。它提醒研究人员和工程师在跨设备评估中要更加谨慎,并考虑使用更精细的诊断工具和方法来提高评估的准确性。

开发者建议

  • 谨慎使用代理设备进行评估:在选择模型时,不要仅依赖代理设备的排名,而应考虑目标设备的特定约束。
  • 采用AdaProxy等诊断工具:使用AdaProxy等方法可以更准确地评估延迟排名,从而提高模型选择的可靠性。
  • 关注联合约束条件:在评估模型可行性时,应特别注意联合延迟-能耗等约束条件。

消息来源:ArXiv Machine Learning (cs.LG) (2026-09-22)

—— 完 ——

主题标签: #arXiv #硬件评估 #跨设备 #AdaProxy #延迟排名

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…