Z.ai发布GLM-5.3-Flash:首个原生多模态GLM-5系列模型
文 / Mr.Xu 社区投稿
发布时间: · 7 次阅读
摘要:Z.ai正式发布GLM-5.3-Flash,这是GLM-5系列中首个原生多模态模型,也是glm5_next架构的首次开放权重版本。该模型在性能上显著提升,号称以GLM-5.2十分之一的价格达到接近Claude Opus 4.8的编码和智能体基准表现。其核心创新包括混合稀疏+线性注意力机制、Manifold-Constrained Hyper-Connections(mHC)以提升扩展效率,以及基于30万亿多模态token训练的多模态能力。GLM-5.3-Flash支持FP8和BF16两种精度格式,并引入了新的推理优化方案。
GLM-5.3-Flash:多模态与高效推理的突破
Z.ai近日发布了GLM-5.3-Flash,这是GLM-5系列中的首个原生多模态模型,也是glm5_next架构的首次开放权重版本。该模型旨在提供更强大的多模态处理能力,同时保持高效推理性能。以下是主要技术亮点:
技术亮点
-
混合稀疏+线性注意力机制
- 采用45层结构,其中34层为KDA线性注意力,11层为DeepSeek风格的稀疏注意力。稀疏层使用闪电索引器(32个头,维度128),预算为2048个token,大幅降低了长上下文处理成本。
-
Manifold-Constrained Hyper-Connections (mHC)
- 通过层间流形约束混合,扩展残差流,进一步提升扩展效率。
-
原生多模态能力
- 包含24层ViT(448px,patch 14,2x2空间合并),并支持时间补丁,使图像和视频token成为词汇的一部分。该模型在30万亿多模态token上进行了训练。
-
MTP头
- 在权重中集成了1个next-N预测层,官方vLLM配方使用5个推测token。
-
FP8支持
- 主仓库采用FP8(e4m3,动态激活缩放),同时提供BF16格式的官方仓库。
模型规格
- 类型: 带视觉编码器的因果语言模型(Glm5NextForConditionalGeneration)
- 训练阶段: 预训练(30万亿多模态token)和后训练
- 许可证: MIT
- 参数数量: 3200亿(激活参数180亿)
- 隐藏层维度: 4096
- 词汇量: 154,880
- 层数: 45层(前3层为密集MLP,其余42层为MoE)
- 隐藏布局: 11 x (3 x (KDA线性注意力 -> MoE) -> 1 x (稀疏注意力 -> MoE)),外加1个尾部线性层
- 上下文长度: 1,048,576个token(max_position_embeddings);评估时为300K文本/164K视觉
推理与部署
GLM-5.3-Flash支持多种推理引擎,包括vLLM(官方配方)、SGLang、TokenSpeed和KTransformers等。官方提供了针对不同硬件平台(如H100/H200/B200/B300/GB200/GB300)的优化配置,并支持CPU/GPU混合模式以实现低延迟。
行业影响与开发者建议
GLM-5.3-Flash的发布标志着多模态大语言模型的一个重要里程碑。其高效的多模态处理能力和优化的推理性能使其适用于广泛的AI应用场景,包括智能客服、图像/视频理解、实时翻译等。开发者可以利用其开源特性进行定制化开发,并结合FP8支持在资源受限环境中部署。
结论
GLM-5.3-Flash的发布不仅展示了Z.ai在多模态大语言模型领域的创新能力,也为AI应用开发者提供了强大的工具。未来的研究可以进一步探索其在复杂任务中的表现,以及在多模态数据处理中的潜力。
—— 完 ——消息来源:Reddit r/LocalLLaMA (2026-08-26)
主题标签: #Z.ai #GLM-5.3-Flash #多模态模型 #高效推理 #开源AI
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区