多模态(Multimodal)
多模态模型能同时处理多种类型的数据:文本、图片、音频、视频。代表工作: GPT-4V / GPT-5、Claude 3.5 Sonnet、Gemini 1.5、Qwen-VL、LLaVA、InternVL。
架构
主流多模态 LLM 通常由三部分组成:
- 模态编码器:图片(ViT/CLIP)、音频(Whisper)、视频。
- 投影层:把不同模态的特征映射到 LLM 的 token 空间。
- LLM 主干:在统一 token 序列上做语言建模与生成。
能力维度
- 图片理解:OCR、图表解读、视觉问答、目标检测(部分模型)。
- 图片生成:DALL-E、Midjourney、Stable Diffusion(这一类不属于多模态 LLM)。
- 音频理解 / 生成:Whisper(ASR)、Vall-E(TTS)。
- 视频理解:Gemini 1.5、长视频摘要。
评测
- VQA(视觉问答)、MME、MMMU(多模态推理)、MathVista(视觉数学)。
挑战
- OCR 错误:图中小字识别率仍是弱项。
- 空间理解:模型对"左上角"这种空间关系把握不好。
- 幻觉:图片里没有的东西,模型可能编造。