智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #DeepSeek #开源模型 #MoE架构 #视觉语言模型 #AI多模态

DeepSeek V4 Flash实现基础视觉能力:MoE模型视觉化改造新尝试

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:WebBrain团队通过训练一个40M参数的连接器,将DeepSeek V4 Flash(一个2840亿参数的大型文本MoE模型)与MoonViT图像编码器结合,赋予其基础视觉能力。该方法无需重新训练语言模型,仅通过连接器将视觉特征映射到DeepSeek的嵌入空间。实验表明,该模型能够处理基本图像任务,但尚未达到生产级视觉语言模型的性能。


核心突破

WebBrain团队提出了一种创新的方法,通过训练一个40M参数的连接器,将DeepSeek V4 Flash(一个拥有2840亿参数的大型文本MoE模型)与MoonViT图像编码器结合,赋予其基础视觉能力。该方法无需重新训练语言模型,仅通过连接器将视觉特征映射到DeepSeek的嵌入空间,从而实现视觉与语言的融合。

技术细节

  • 模型架构:

    • DeepSeek V4 Flash: 2840亿参数(活跃参数130亿),冻结状态。
    • MoonViT-3d: 4.17亿参数图像编码器,冻结状态。
    • 连接器: 40.1M参数,训练目标是将视觉特征转换为DeepSeek的嵌入空间。
  • 训练数据: 从HuggingFaceM4/the_cauldron数据集中采样了100,000个图像-文本示例,包含OCR文档、图表、科学问题、网页截图等。

  • 训练过程:

    • 硬件: 5台H200 GPU。
    • 训练时长: 理论连续训练时间约20.25小时。
    • 优化器: AdamW,学习率1e-3,BF16精度。
  • 性能表现:

    • 模型能够识别图像中的人物、物体和文本,但存在生成简短回答、遗漏小文本、虚构视觉细节等问题。
    • 单个36-token图像响应的生成速度约为4.81 tokens/秒。

行业影响

这项工作展示了将大型文本MoE模型扩展到视觉领域的可能性,为AI模型的多模态化提供了一种新的思路。相比于从头训练一个大型视觉语言模型,这种方法在计算资源和时间成本上具有显著优势。然而,目前的实验规模(10万样本)还不足以支持生产级应用,未来需要更大规模、更高多样性的数据集来提升模型性能。

开发者建议

  • 数据集: 建议使用至少100万高质量、经过精心筛选的图像-文本示例,并覆盖OCR文档、图表、网页界面、空间推理等多样化场景。
  • 模型架构: 连接器的设计至关重要,需要进一步优化以更好地融合视觉与语言特征。
  • 训练目标: 可以考虑引入更复杂的训练目标,如多步视觉指令、硬负样本等,以提升模型在复杂任务上的表现。

未来展望

作者计划进行更大规模的实验,并探索将这种方法应用于其他大型文本模型的可能性。同时,作者也希望社区能够参与进来,共同推动这一技术的进步。

资源链接

致谢

感谢Baseten对GLM-5.2 Vision NVFP4的启发,以及Moonshot AI和DeepSeek在模型架构和训练方法上的贡献。


消息来源:Reddit r/LocalLLaMA (2026-08-11)

—— 完 ——

主题标签: #DeepSeek #开源模型 #MoE架构 #视觉语言模型 #AI多模态

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…