Open Vision Banana全开源：图像生成器变身多任务视觉感知器

摘要：Open Vision Banana（OVB）把预训练图像生成器重构为统一视觉感知系统，将语义分割、深度估计、指代表达分割和实例分割统一为条件图像编辑任务。研究开放了数据构建与处理流程、训练评测代码以及最终、中间和消融检查点。基于4B与9B开放权重模型及210万至380万公开数据对，OVB在Cityscapes零样本分割达到73.9 mIoU，高于Vision Banana报告的69.9；其图例集成策略还可在不重训的情况下显著修正类别颜色绑定错误。

---

核心思路：把感知任务改写为图像编辑

Open Vision Banana（OVB）不另建专用分割架构，而是复用预训练图像生成器中已经编码的现实世界知识：模型接收输入图像、自然语言指令和任务条件，再通过编辑或重绘图像输出分割图、深度图或实例结果。这样，同一生成骨干可以承载语义分割、深度估计、指代表达分割与实例分割，而不必为每个任务部署独立模型。

这一路线并非简单地把扩散模型接到分割任务上。生成模型必须把“像素编辑”变成可控的结构化输出，同时尽可能保留预训练生成能力，避免适配后只剩分割能力。OVB 的关键贡献因此不只是刷新一个 mIoU 数字，而是公开了一条从数据构造、参数适配到测试时扩展的完整工程路径。

训练配方与任务统一

OVB 使用4B和9B两种规模的开放权重基础模型，并从公开数据集中构造约210万至380万训练对。训练阶段同时处理多种感知目标，任务平衡不是简单增加每类样本，而是与颜色编码、提示设计和参数适配共同决定最终泛化能力。

研究特别强调：这些选项存在明显交互。某种颜色映射单独看可能更好，换一组提示词后却可能造成类别混淆；更强的参数适配也不必然提高跨任务泛化。因此，按单项消融结果拼接配置，很容易得到“每个模块单测有效、组合后反而退化”的系统。

对于需要维持生成能力的场景，LoRA 等参数高效适配方法是自然选择：只训练注入模块，可显著降低优化器状态和可训练参数规模，并减少对基础生成先验的破坏。不过，论文摘要没有披露具体适配器结构、秩大小、训练步数与 GPU 成本，实际复现仍需结合完整代码和检查点完成。

零样本分割与深度估计

OVB 在 Cityscapes 零样本语义分割上达到73.9 mIoU，超过 Vision Banana 报告的69.9 mIoU，提升4个百分点。该结果说明，公开训练数据、完整实现和系统化消融能够显著改变生成式感知方案的有效性，而不只是复现原系统的公开描述。

在深度估计上，OVB 已接近当时最先进的仿射不变深度估计器。这里的“仿射不变”意味着模型对深度尺度与位移变化具有一定鲁棒性，适合缺少精确相机标定或真实深度尺度的数据设定；但接近领先方法并不意味着全面超越，摘要没有给出完整误差表、运行分辨率或速度对照。

非零样本变体在指代表达分割和推理型分割上与 Vision Banana 相差不超过5个百分点，但实例分割仍有明显差距。这说明 OVB 的统一条件生成框架对语义结构和文本指代较有效，而实例级对象分离更依赖底层的目标区分机制，不能仅靠颜色或类别生成解决。

图例集成：用测试时计算修正颜色绑定

OVB 的 legend ensembling 是更具工程价值的设计。模型把不同类别映射到不同颜色，再根据生成结果恢复类别掩码；问题是模型对颜色—类别关系并不总是稳定，同一颜色可能在不同上下文或生成采样中被错误绑定。

该方法针对同一图像生成多组不同类别—颜色图例，把各组预测转成类别掩码后进行多数投票。不同图例相当于对潜在绑定错误进行扰动，投票可保留跨图例一致的结果，从而减少单个颜色编码造成的系统性偏差。

论文报告，该策略无需重新训练即可让 Cityscapes mIoU 最高提升8.7个百分点，在 COCO-Object 上最高提升15.0个百分点。其代价是每张图需要执行多次生成与后处理，因此测试延迟、显存峰值和吞吐下降幅度会随图例数量近似线性增长。对于实时视频或高吞吐服务，直接采用全量集成未必经济，应评估减少图例数量、批处理以及缓存共享骨干计算是否可行。

评测结果应如何解读

OVB 的主要优势包括：数据、代码和各级检查点均公开；Cityscapes 零样本结果超过此前报告值；legend ensembling 在不训练新参数的情况下带来明显增益；模型还基本保留基础模型的图像编辑能力。

但官方结果仍需谨慎看待。Cityscapes 属于高频评测基准，模型可能通过数据共现和提示适配获得优势；“rivals state-of-the-art affine-invariant depth estimators”也不等于在所有深度指标和运行条件下领先。摘要没有提供独立复现、训练算力、推理延迟、峰值显存和统一硬件下的速度数据。实例分割落后也表明，统一生成式框架尚不能替代任务专用模型的实例级优化。

开发者落地建议

1. 从开放检查点做分任务评测：分别验证语义分割、深度、指代表达和实例分割，避免仅凭统一任务的平均分判断可用性。
2. 先复现单图例基线：测量吞吐、延迟和显存，再逐步增加图例数量，绘制 mIoU 与推理成本的 Pareto 曲线。
3. 检查生成能力退化：除分割指标外，同时测试编辑指令遵循、图像一致性和通用生成质量，避免适配后发生能力遗忘。
4. 验证颜色编码稳定性：按类别、频率和视觉混淆程度拆解错误，确认 legend 集成修复的是随机绑定错误，而非掩盖系统性语义错误。
5. 重视数据许可与评测隔离：即使训练对来自公开数据集，也需逐项核对许可、来源与去重规则，并检查训练数据是否与测试集存在近重复。

OVB 的价值不在于证明图像生成器已经取代所有视觉模型，而在于提供了一条可复现、可拆解、可扩展的统一感知路线。它尤其适合研究生成式视觉、开放权重模型适配和测试时计算之间的工程联系。

---

消息来源：Hugging Face Daily Papers (2026-11-11)

—— 完 ——

主题标签： #Open Vision Banana 关注 #生成式视觉 关注 #图像生成器 关注 #视觉感知 关注 #测试时扩展 关注