智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #Yamz Labs #MoE架构 #大语言模型 #ROCm #开源AI

Yamz Labs发布两款300B级MoE模型:GLM-5.3-Flash与MiMo-V2.6-Flash

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 13 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Yamz Labs推出两款基于MoE架构的300B级大语言模型——GLM-5.3-Flash和MiMo-V2.6-Flash。这些模型在单个128GB的AMD Strix Halo迷你PC上运行,GLM-5.3-Flash在预填充阶段的token生成速度达到580 tok/s,MiMo-V2.6-Flash在解码阶段的token生成速度高达44 tok/s。模型基于ExLlamaV3引擎构建,并采用ROCm开源计算平台。Yamz Labs还提供了去中心化版本和快速部署指南,为AI研究人员和开发者提供了强大的工具支持。


Yamz Labs发布两款300B级MoE模型:GLM-5.3-Flash与MiMo-V2.6-Flash

近日,Yamz Labs推出两款基于MoE(混合专家)架构的大语言模型——GLM-5.3-Flash和MiMo-V2.6-Flash。这两款模型专为高性能计算设计,能够在单个128GB的AMD Strix Halo迷你PC上运行,展示了在资源受限环境下处理大规模模型的潜力。

技术亮点

  • 模型架构与规模:GLM-5.3-Flash和MiMo-V2.6-Flash均为300B级模型,分别占用99.7GB和105GB的存储空间。
  • 性能表现:GLM-5.3-Flash在预填充阶段的token生成速度达到580 tok/s(3.5K上下文长度),在64K上下文长度下为546 tok/s;MiMo-V2.6-Flash在解码阶段的token生成速度高达44 tok/s(推测值),其中代码任务的解码速度达到44 tok/s。
  • 量化与优化:MiMo-V2.6-Flash采用Yamz Labs自有的量化技术,而GLM-5.3-Flash结合了turboderp的EXL3张量和Yamz Labs的层混合技术,并进行了微调。
  • 去中心化版本:Yamz Labs还提供了去中心化版本,通过加载引擎应用的小文件,用户可以轻松启用或禁用去中心化功能。
  • 开源与工具支持:模型基于ExLlamaV3引擎构建,并采用ROCm开源计算平台。Yamz Labs提供了快速部署指南和OpenAI风格的API接口,方便开发者快速上手。

行业影响

这两款模型的出现标志着AI模型在资源效率上的新突破,特别是在单机环境下运行超大规模模型成为可能。这不仅降低了AI模型部署的硬件门槛,还为边缘计算和分布式AI系统提供了新的解决方案。此外,Yamz Labs的开源策略和工具支持将加速AI研究人员和开发者的创新步伐,推动AI技术的普及与应用。

开发者建议

对于希望尝试这两款模型的开发者,建议参考Yamz Labs提供的快速部署指南,并利用其开源工具进行自定义和优化。同时,建议关注Yamz Labs的社区讨论,以获取最新的更新和最佳实践。

结论

Yamz Labs发布的GLM-5.3-Flash和MiMo-V2.6-Flash展示了AI模型在资源效率和性能上的新高度,为AI研究和应用开辟了新的可能性。


消息来源:Reddit r/LocalLLaMA (2026-10-03)

—— 完 ——

主题标签: #Yamz Labs #MoE架构 #大语言模型 #ROCm #开源AI

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…