Mirage用22MB权重在手机端统一视觉感知与结构化推理

摘要：Cactus Compute 发布端侧视觉模型 Mirage，以 51.3M 参数和 22MB 权重在单次推理中完成场景描述、目标检测、OCR、分割、空间关系及结构化决策。其 HConvGLU 图像编码器与专用空间、文本任务头共享视觉特征，搭载 Simple Attention 和 Hadamard MLP 的解码器则生成可交给文本 LLM 的结构化记录。官方测得 Galaxy S26 上 NPU 端到端延迟 74ms、CPU 为 107ms。初步 VQAv2 实验显示，Mirage 记录可提升 Qwen3 的答案质量，但样本量有限，且格式违规与感知遗漏会直接造成错误或零分。

---

51.3M 参数、22MB 权重，Mirage 把多任务视觉理解压到端侧

Cactus Compute 发布的 Mirage 不是传统“输入图像、输出自然语言”的通用视觉语言模型，而是一套面向手机、可穿戴设备和机器人的轻量视觉感知栈。它用一个 22MB 权重文件完成场景描述、目标检测、OCR、实例分割、空间关系分析、字段提取和决策，并在 Galaxy S26 上达到 NPU 端到端 74ms、CPU 107ms 的官方实测延迟。

Mirage 总计 51.3M 参数，其中图像编码器占 7.8M、语言解码器占 40.8M，OCR 与空间任务头合计 2.6M。其设计重点是让视觉模块直接产出结构化事实，而不是先写一篇冗长描述，再让下游 LLM 从散文中重新提取对象、属性和关系。

架构：共享视觉特征，拆出专用感知头

Mirage 的图像编码器采用 HConvGLU。它不是依赖大规模全连接投影混合通道，而是将固定 Hadamard 变换与小规模学习卷积组合，用于通道混合和局部特征提取。其优势是减少参数量与矩阵乘法成本，并保留一定的结构化归纳偏置。

检测与分割任务共享同一组图像特征，但分别由任务头输出边界框和掩码。OCR 与空间关系也使用专用头，而不是完全依赖语言解码器从像素中“猜出”文字与几何关系。这种分工能减少解码器容量浪费，也让工程系统更容易针对不同任务调整。

语言侧采用 Simple Attention 与 Hadamard MLP，延续 Cactus Compute 此前 Needle、Whistle 系列模型的技术路线。Mirage 解码器生成对象名称、属性、关系以及简短推理记录，并通过短引用把名称与图像区域关联起来。其核心假设是：在固定结构化任务中，语言模型不必承担开放描述所需的全部连接词组织成本，可以把容量集中到视觉证据本身。

关键用法：把 Mirage 变成文本 LLM 的“感知补丁”

Mirage 最具实用性的路径并非独立完成所有问答，而是作为端侧视觉编码器，将结构化记录交给纯文本 LLM。官方称，在 256 个来自 128 张图像的 VQAv2 问题上，未微调的 Qwen3-0.6B 仅接收问题时得分为 9.3，加入 Mirage 的结构化记录和完整推理轨迹后升至 31.3。

更大阅读器上的增益较温和：Qwen3-1.7B 从 27.5 升至 31.6，Qwen3-4B-Instruct-2507 从 33.4 升至 37.3。评测同时显示，结构化视觉记录比冗长推理轨迹更重要；一个样例在移除轨迹后得分从 22.2 上升到 33.1。官方因此认为，主要价值来自图像特定事实，而非让小模型继续生成开放式推理。

不过，这些数字不能直接解读为 Mirage 已带来稳定的 VQA 能力提升。测试只有 256 个问题，读者和提示策略相对有限，且结果混合了答案正确性与 JSON 格式合规性：Nemotron 在 214 个响应中未满足规定的 JSON 结构，Qwen3-1.7B 也有 34 个格式失败，这些响应均被记为零分。

工程边界：小模型不会自动纠正上游感知错误

Mirage 暴露的更普遍问题是视觉事实质量与下游语言能力之间的信息瓶颈。官方给出的滑板示例中，Mirage 漏检滑板，只描述了汽车、人物和鞋。Qwen3 仅凭问题中的线索猜出“a skateboard”，但读取 Mirage 记录后反而回答“a car”。

这说明更大的文本模型无法补偿缺失的关键视觉证据。只要端侧感知器发生漏检、错误分割或 OCR 失败，下游阅读器越信任这些结构化事实，越可能被错误信息带偏。生产系统需要为感知置信度、缺失对象和冲突证据保留字段，而不是把所有输出视为同等可靠的事实。

此外，当前评测只给出 Galaxy S26 的官方数据。不同 SoC 的 NPU 算子支持、内存带宽、图像预处理和模型转换方式，都可能显著改变端到端延迟。22MB 是权重文件大小，不等于实际运行时内存占用；KV Cache、图像张量、中间激活和后端工作区仍需单独测量。

部署建议：先把它用于可验证的窄任务

对手机、可穿戴设备和机器人开发者，Mirage 更适合承担以下窄职责：

• 快速提取对象、属性、OCR 文本和空间关系，形成后续 LLM 或控制策略的上下文；
• 在离线或隐私敏感场景中完成基础视觉状态检查；
• 为相机异常、货架缺货、页面元素识别等固定任务提供低延迟预过滤；
• 将结构化记录与原图区域引用一并传给上层模型，以便回溯证据。

部署时应设置两道防线。第一，在 JSON 记录中加入字段级置信度、未检出类别和相互冲突的观察，让阅读器能够拒绝低质量证据。第二，采用约束解码或模式校验处理输出，避免格式失败直接转化为零分。

如果业务依赖精确计数、细粒度小目标、遮挡物体或复杂几何关系，22MB 模型仍应与更强但更慢的云端视觉模型进行置信度路由，而不是默认所有图像都交给 Mirage。

结论：值得测试的端侧感知基线，尚非通用 VLM

Mirage 的价值在于证明，多任务视觉感知可以通过共享编码器、专用任务头和结构化输出，在手机端以接近实时的延迟运行。其最强卖点不是替代大型 VLM，而是为现有文本 LLM 增加一个轻量、可组合的感知前端。

不过，当前证据仍主要来自项目方发布，规模有限且存在评测混合与感知遗漏。对开发者而言，合理做法是把它作为可替换的端侧基线，在目标设备、真实图像和业务指标上独立复测，并重点记录端到端 p95 延迟、峰值内存、感知召回率及错误记录对下游模型的传播程度。

---

消息来源：Reddit r/LocalLLaMA (2026-11-06)

—— 完 ——

主题标签： #Mirage 关注 #端侧视觉语言模型 关注 #HConvGLU 关注 #多模态推理 关注 #Cactus Compute 关注