智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Daedalus #CPU推理 #混合架构 #轻量级模型 #高效推理

Daedalus-150M发布:专为CPU推理设计的卷积-注意力混合架构模型

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Daedalus-150M是一款专为CPU推理优化的轻量级语言模型,通过创新的混合架构设计实现了高效性能。该模型在18个模块中仅保留6个全注意力模块,其余12个模块采用短卷积处理,有效减少内存占用并提升推理速度。模型在59.9B token上训练,在五任务基准测试中得分47.31,显著超越GPT-2、Pythia、OPT和GPT-Neo等同类模型,且在相同数据量下表现优于参数量更大的MobileLLM-125M。


创新架构设计

Daedalus-150M采用了一种独特的混合架构设计,将全注意力机制与短卷积结合,以适应CPU推理的需求。具体来说,该模型在18个模块中仅保留6个全注意力模块,其余12个模块则采用短卷积处理。这种设计有效减少了内存占用,同时保持了较高的推理速度。

训练与性能

该模型在59.9B token的数据集上从头训练,并在五任务基准测试中取得了47.31的得分,超过了训练数据量是其三到六倍的GPT-2 124M、Pythia-160M、OPT-125M和GPT-Neo-125M。此外,尽管MobileLLM-125M的训练数据量达到1万亿token,Daedalus-150M仍展现出更优的性能。

技术亮点

  1. 混合架构:通过结合全注意力和短卷积,Daedalus-150M在保持高效推理的同时,显著降低了内存占用。
  2. 高效推理:在2048 token的上下文长度下,Daedalus-150M的解码速度比同类模型快1.76倍。
  3. 轻量级设计:4-bit权重和优化的内存管理使其适用于普通CPU环境。

不足与挑战

尽管Daedalus-150M在多个方面表现出色,但研究团队也指出了其局限性,例如4-bit质量成本较高、部分卷积通道无效以及词汇量过大等问题。

行业影响与建议

Daedalus-150M的发布为CPU推理场景提供了新的解决方案,尤其适用于资源受限的设备。其轻量级设计和高效性能使其在边缘计算、物联网和移动设备等领域具有广泛的应用潜力。开发者可以尝试在特定应用场景中部署该模型,并结合自身需求进行微调,以实现最佳性能。


消息来源:Hugging Face Daily Papers (2026-08-20)

—— 完 ——

主题标签: #Daedalus #CPU推理 #混合架构 #轻量级模型 #高效推理

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…