苹果提出TEAL：像素级低预算语义分割主动学习

摘要：Apple Machine Learning Research提出TEAL（Token-space Efficient Active Learning），把ViT主动学习从补丁或区域级推进到像素级低标注场景。其目标是在每张图像仅查询一个像素等极稀疏监督下，同时定位最具信息量的位置并训练可靠的分割解码头。方法利用视觉Transformer的Token空间进行主动采样，将昂贵的人类像素标注压缩为更少查询。该研究有望降低语义分割的数据采集成本，但现有摘要未披露模型、数据集、查询策略及量化结果，实际收益仍需结合完整论文与独立复现验证。

---

TEAL把语义分割的主动学习预算压到像素级

苹果机器学习研究团队提出TEAL（Token-space Efficient Active Learning），针对基于Vision Transformer的语义分割主动学习：现有方法通常在patch或region层面选择待标注区域，即使只圈定一个区域，仍需为其中大量像素提供密集标签；而TEAL探索的是每张图像可能仅查询一个像素的极低预算场景。

这项工作的难点不只是“选哪个位置”，还包括在只有一个或极少数像素监督时，如何训练出稳定的分割解码头。TEAL在Token空间中完成信息量估计与采样，再将稀疏像素标注映射回高分辨率语义图，试图把位置选择和分割器学习纳入同一套主动学习闭环。

从Patch采样转向Token空间查询

对ViT而言，图像通常被切分为patch并编码成Token。若采用patch级主动学习，一次查询虽然比整图标注便宜，却仍可能覆盖数十至数百个像素；密集分割任务必须知道该区域内的类别分布，因此标注成本依然很高。

TEAL的核心思路是缩小查询粒度，让待标注样本从粗粒度patch下沉到具体像素，并利用预训练ViT的Token表征估计候选位置对分割任务的价值。其工程目标可理解为：在固定像素标注预算下，优先选择能最大限度减少分割不确定性的位置。

这比按随机像素、中心像素或固定高不确定度区域采样更复杂。像素选择错误会让解码头长期学习到错误类别，而极低预算又缺少纠正机会。因此，TEAL需要同时处理三个问题：

1. 像素标签如何有效转换为适合分割头训练的监督信号；
2. 如何从Token级特征推断尚未标注像素的类别价值；
3. 如何避免采样器偏爱边界、稀有类别或视觉上不确定但语义价值有限的区域。

工程权衡：更低标注成本不等于更低训练成本

像素级主动学习最直接的收益是减少人工逐像素标注。但查询生成、候选像素搜索和分割模型迭代都发生在训练循环内，可能显著增加自动标注计算。

对于分辨率为 H × W 的图像，若每轮评估大量候选像素，朴素做法可能需要额外的特征传播或近似注意力计算。ViT的注意力复杂度通常随序列长度近似按平方增长；将每个像素独立送入模型又会让批处理开销与图像分辨率成正比。高效实现需要在以下方案之间取舍：

• 直接像素查询：实现简单，但推理次数和特征存储可能很高；
• Token级近似：先按Token挑选高价值区域，再细化到像素，吞吐更高，但可能损失边界精度；
• 两阶段定位：先做粗粒度不确定性筛选，再仅对少量候选区域执行精细传播，通常是更现实的折中。

此外，Token空间中的表征相似度并不天然等价于像素语义不确定性。预训练模型的视觉Token可能更擅长识别对象内容，而非精确 delineation。一个在特征空间中“很不确定”的像素，未必位于类别边界；一个高度确定的Token内部，也可能包含被粗粒度特征忽略的小目标。因此，TEAL的采样目标与最终分割损失之间仍需要经验校准。

评测应关注什么

低预算语义分割不能只看最终mIoU。更合理的评测至少应覆盖：

• 像素预算曲线：比较相同标注像素数下，不同预算阶段的mIoU或Dice；
• 样本选择偏差：检查采样器是否过度选择小目标、边界或单一类别；
• 标注效率：报告达到固定mIoU所需的真实像素标签量，而非只给单点结果；
• 随机性控制：低预算主动学习对初始化和采样随机种子可能高度敏感，应提供多随机种子均值与方差；
• 骨干泛化：验证方法能否从自监督ViT迁移到不同预训练数据和分割数据集；
• 计算开销：同时报告查询策略带来的GPU时间，避免把自动搜索成本隐藏在“标注节省”之后。

官方或论文中的基准若只比较最终分数，而不控制查询轮数、骨干、数据增强和解码器训练预算，结论就可能偏向特定实现。尤其在每图一个像素的极端条件下，训练策略本身可能比查询策略更决定结果。

开发者落地建议

将TEAL用于生产数据闭环时，可把它视为“标注调度器”，而不是独立的分割模型。推荐保留三个可替换接口：像素候选生成器、价值评分器与分割解码头。这样可以分别替换ViT/DINOv2等预训练骨干，比较随机采样、熵采样、边界采样与TEAL，并保留人工复核通道。

工程上应记录每轮查询位置、像素标签、解码器版本和累计GPU时间，以绘制标注预算—分割质量—计算成本三条曲线。对于医疗、自动驾驶或遥感等类别极不均衡场景，还应加入分层采样与最低类别配额，防止主动学习持续忽视稀有类别。

现阶段公开摘要没有给出TEAL的完整架构、数据集、预算设置及量化增益，因此尚不能判断它是否真正优于简单的Token级采样，也不能确认极低预算下是否存在稳定收益。该方法最值得验证的核心命题是：Token空间中的信息量估计，是否能在每图仅一个像素的条件下，持续为分割解码头提供比区域采样更有价值的监督。

---

消息来源：Apple Machine Learning Research (2026-10-21)

—— 完 ——

主题标签： #苹果 关注 #TEAL 关注 #主动学习 关注 #语义分割 关注 #Vision Transformer 关注