智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #Z.ai #GLM-5.3-Flash #多模态模型 #高效推理 #开源AI

Z.ai发布GLM-5.3-Flash:首个原生多模态GLM-5系列模型

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Z.ai正式发布GLM-5.3-Flash,这是GLM-5系列中首个原生多模态模型,也是glm5_next架构的首次开放权重版本。该模型在性能上显著提升,号称以GLM-5.2十分之一的价格达到接近Claude Opus 4.8的编码和智能体基准表现。其核心创新包括混合稀疏+线性注意力机制、Manifold-Constrained Hyper-Connections(mHC)以提升扩展效率,以及基于30万亿多模态token训练的多模态能力。GLM-5.3-Flash支持FP8和BF16两种精度格式,并引入了新的推理优化方案。


GLM-5.3-Flash:多模态与高效推理的突破

Z.ai近日发布了GLM-5.3-Flash,这是GLM-5系列中的首个原生多模态模型,也是glm5_next架构的首次开放权重版本。该模型旨在提供更强大的多模态处理能力,同时保持高效推理性能。以下是主要技术亮点:

技术亮点

  1. 混合稀疏+线性注意力机制

    • 采用45层结构,其中34层为KDA线性注意力,11层为DeepSeek风格的稀疏注意力。稀疏层使用闪电索引器(32个头,维度128),预算为2048个token,大幅降低了长上下文处理成本。
  2. Manifold-Constrained Hyper-Connections (mHC)

    • 通过层间流形约束混合,扩展残差流,进一步提升扩展效率。
  3. 原生多模态能力

    • 包含24层ViT(448px,patch 14,2x2空间合并),并支持时间补丁,使图像和视频token成为词汇的一部分。该模型在30万亿多模态token上进行了训练。
  4. MTP头

    • 在权重中集成了1个next-N预测层,官方vLLM配方使用5个推测token。
  5. FP8支持

    • 主仓库采用FP8(e4m3,动态激活缩放),同时提供BF16格式的官方仓库。

模型规格

  • 类型: 带视觉编码器的因果语言模型(Glm5NextForConditionalGeneration)
  • 训练阶段: 预训练(30万亿多模态token)和后训练
  • 许可证: MIT
  • 参数数量: 3200亿(激活参数180亿)
  • 隐藏层维度: 4096
  • 词汇量: 154,880
  • 层数: 45层(前3层为密集MLP,其余42层为MoE)
  • 隐藏布局: 11 x (3 x (KDA线性注意力 -> MoE) -> 1 x (稀疏注意力 -> MoE)),外加1个尾部线性层
  • 上下文长度: 1,048,576个token(max_position_embeddings);评估时为300K文本/164K视觉

推理与部署

GLM-5.3-Flash支持多种推理引擎,包括vLLM(官方配方)、SGLang、TokenSpeed和KTransformers等。官方提供了针对不同硬件平台(如H100/H200/B200/B300/GB200/GB300)的优化配置,并支持CPU/GPU混合模式以实现低延迟。

行业影响与开发者建议

GLM-5.3-Flash的发布标志着多模态大语言模型的一个重要里程碑。其高效的多模态处理能力和优化的推理性能使其适用于广泛的AI应用场景,包括智能客服、图像/视频理解、实时翻译等。开发者可以利用其开源特性进行定制化开发,并结合FP8支持在资源受限环境中部署。

结论

GLM-5.3-Flash的发布不仅展示了Z.ai在多模态大语言模型领域的创新能力,也为AI应用开发者提供了强大的工具。未来的研究可以进一步探索其在复杂任务中的表现,以及在多模态数据处理中的潜力。


消息来源:Reddit r/LocalLLaMA (2026-08-26)

—— 完 ——

主题标签: #Z.ai #GLM-5.3-Flash #多模态模型 #高效推理 #开源AI

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…