跳到主内容
智客 ZICQ

智客百科 AI 概念

多模态(Multimodal)

AI 概念
别名: 多模态模型 MLLM VLM ·2026-09-14

多模态(Multimodal)

多模态模型能同时处理多种类型的数据:文本、图片、音频、视频。代表工作: GPT-4V / GPT-5、Claude 3.5 Sonnet、Gemini 1.5、Qwen-VL、LLaVA、InternVL。

架构

主流多模态 LLM 通常由三部分组成:

  1. 模态编码器:图片(ViT/CLIP)、音频(Whisper)、视频。
  2. 投影层:把不同模态的特征映射到 LLM 的 token 空间。
  3. LLM 主干:在统一 token 序列上做语言建模与生成。

能力维度

  • 图片理解:OCR、图表解读、视觉问答、目标检测(部分模型)。
  • 图片生成:DALL-E、Midjourney、Stable Diffusion(这一类不属于多模态 LLM)。
  • 音频理解 / 生成:Whisper(ASR)、Vall-E(TTS)。
  • 视频理解:Gemini 1.5、长视频摘要。

评测

  • VQA(视觉问答)、MME、MMMU(多模态推理)、MathVista(视觉数学)。

挑战

  • OCR 错误:图中小字识别率仍是弱项。
  • 空间理解:模型对"左上角"这种空间关系把握不好。
  • 幻觉:图片里没有的东西,模型可能编造。