DeepSeek V4 Flash实现基础视觉能力:MoE模型视觉化改造新尝试
摘要:WebBrain团队通过训练一个40M参数的连接器,将DeepSeek V4 Flash(一个2840亿参数的大型文本MoE模型)与MoonViT图像编码器结合,赋予其基础视觉能力。该方法无需重新训练语言模型,仅通过连接器将视觉特征映射到DeepSeek的嵌入空间。实验表明,该模型能够处理基本图像任务,但尚未达到生产级视觉语言模型的性能。
核心突破
WebBrain团队提出了一种创新的方法,通过训练一个40M参数的连接器,将DeepSeek V4 Flash(一个拥有2840亿参数的大型文本MoE模型)与MoonViT图像编码器结合,赋予其基础视觉能力。该方法无需重新训练语言模型,仅通过连接器将视觉特征映射到DeepSeek的嵌入空间,从而实现视觉与语言的融合。
技术细节
-
模型架构:
- DeepSeek V4 Flash: 2840亿参数(活跃参数130亿),冻结状态。
- MoonViT-3d: 4.17亿参数图像编码器,冻结状态。
- 连接器: 40.1M参数,训练目标是将视觉特征转换为DeepSeek的嵌入空间。
-
训练数据: 从HuggingFaceM4/the_cauldron数据集中采样了100,000个图像-文本示例,包含OCR文档、图表、科学问题、网页截图等。
-
训练过程:
- 硬件: 5台H200 GPU。
- 训练时长: 理论连续训练时间约20.25小时。
- 优化器: AdamW,学习率1e-3,BF16精度。
-
性能表现:
- 模型能够识别图像中的人物、物体和文本,但存在生成简短回答、遗漏小文本、虚构视觉细节等问题。
- 单个36-token图像响应的生成速度约为4.81 tokens/秒。
行业影响
这项工作展示了将大型文本MoE模型扩展到视觉领域的可能性,为AI模型的多模态化提供了一种新的思路。相比于从头训练一个大型视觉语言模型,这种方法在计算资源和时间成本上具有显著优势。然而,目前的实验规模(10万样本)还不足以支持生产级应用,未来需要更大规模、更高多样性的数据集来提升模型性能。
开发者建议
- 数据集: 建议使用至少100万高质量、经过精心筛选的图像-文本示例,并覆盖OCR文档、图表、网页界面、空间推理等多样化场景。
- 模型架构: 连接器的设计至关重要,需要进一步优化以更好地融合视觉与语言特征。
- 训练目标: 可以考虑引入更复杂的训练目标,如多步视觉指令、硬负样本等,以提升模型在复杂任务上的表现。
未来展望
作者计划进行更大规模的实验,并探索将这种方法应用于其他大型文本模型的可能性。同时,作者也希望社区能够参与进来,共同推动这一技术的进步。
资源链接
致谢
感谢Baseten对GLM-5.2 Vision NVFP4的启发,以及Moonshot AI和DeepSeek在模型架构和训练方法上的贡献。
—— 完 ——消息来源:Reddit r/LocalLLaMA (2026-08-11)
主题标签: #DeepSeek #开源模型 #MoE架构 #视觉语言模型 #AI多模态
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区