智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #ReMo #Omni-LLM #视觉Token压缩 #多模态推理 #Qwen2.5-Omni

ReMo跨模态压缩视觉Token,Omni-LLM输入减少54%

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ReMo提出一种免训练的全模态大模型视觉Token压缩框架:先以闭式校准把音频与视频映射到共享空间,删除已由音频或其他视觉Token解释的冗余项;再用轻量目标检测器定位对象,将对象级视觉Token替换为包含类别与位置的短文本代理。在Qwen2.5-Omni的两种规模上,ReMo减少54%输入Token,五个音视频基准的平均准确率分别为完整Token模型的101.2%和101.4%。该方法把视觉冗余转化为跨模态压缩,但摘要未给出时延、显存、检测器开销、绝对分数与代码状态,仍需在视觉密集、音频噪声和长视频场景复测。


核心结论

ReMo把全模态大模型的视觉Token冗余视为跨模态信息重复问题,而不是简单按分辨率、帧数或固定比例裁剪视觉特征。它通过音频—视频共享空间校准与对象文本代理两条路径,在不微调Qwen2.5-Omni的情况下减少54%的输入Token,并在五个音视频基准上保持与完整Token模型相当的平均准确率。

这项工作的直接价值在于优化大模型Transformer侧的序列长度,而非降低视觉编码器本身的计算量。若压缩发生在多模态Token进入语言模型之前,收益可以覆盖预填充计算、KV Cache占用和首Token时延;但视觉编码、目标检测及跨模态对齐仍需执行。

技术机制:保留不可替代的视觉信息

设原始输入序列包含视觉、音频和文本Token:

N = N_visual + N_audio + N_text

ReMo压缩后的序列可抽象为:

N' = N_visual_keep + N_text_proxy + N_audio + N_text

其中,N_visual_keep是其他模态无法解释的视觉Token,N_text_proxy是对象级视觉Token对应的短文本描述及位置信息。核心判据不是视觉Token是否重复,而是其中的信息是否已经在音频或其他视觉Token中出现。

1. 闭式校准与跨模态去重

音频编码器和视频编码器通常来自不同模型,其表示维度、几何结构和统计分布并不一致。ReMo先以闭式校准把音频与视频映射到共享空间,再比较视觉Token与音频Token、已保留视觉Token之间的信息重叠程度。只要视觉内容能够由其他输入解释,对应Token就可以被移除。

这一设计把冗余判定从单一模态内部扩展到整个输入集合。例如,音频已经明确描述画面中的事件时,重复承载该事件的视觉Token可能不再必要。其优势是避免固定比例裁剪造成的信息损失,但摘要没有披露共享空间的距离函数、校准目标、阈值选择及视觉Token的集合选择顺序,因此目前不足以复现其具体判定逻辑。

2. 对象级视觉Token的文本代理

第二条路径使用轻量目标检测器识别对象,把与对象相关的视觉Token替换为紧凑文本代理。代理内容包含对象类别或短描述以及位置信息,使语言模型仍能利用其已有的对象语义和空间先验。

文本代理的优势是表示紧凑,并可复用大模型对自然语言中对象与位置关系的先验;代价则是视觉外观、纹理、细粒度几何及精确边界可能丢失。检测器漏检、遮挡或类别误判也会直接破坏代理质量,因此它更适合对象语义主导的任务,而不是OCR、像素级计数、细密纹理识别或要求外观一致性的视觉问答。

工程权衡:Token减少不等于端到端加速

在标准稠密自注意力中,序列长度为N时,预填充注意力计算可近似写为O(N²d),每层KV Cache则近似为O(L × N × d_kv)。若压缩后序列长度降至原来的46%,且视觉压缩结果确实在所有Transformer层之前生效,则注意力部分的理论计算比例约为0.46² = 0.212。但这只是注意力子项的上限估算,不代表端到端时延会下降78.8%。

实际收益还受到以下因素影响:

  • 视觉编码成本基本保留。 视频帧仍需经过视觉编码器,ReMo主要削减语言模型接收到的视觉Token数量。
  • 新增前置开销。 目标检测、对象描述生成、共享空间校准和相似度计算可能形成新的关键路径,其成本随帧数、候选对象数和分辨率增长。
  • 动态序列长度增加尾延迟。 不同视频可能保留不同数量的Token,服务系统需要处理更不稳定的预填充时间和批处理行为。
  • 免训练不等于零校准成本。 闭式校准虽不需要梯度训练,但仍可能依赖代表性样本、分布统计和阈值设定,并面临跨数据集漂移。
  • 文本代理存在信息损失。 当音频错误、视觉信息至关重要或对象描述过于粗糙时,删除视觉Token可能造成不可逆的判断偏差。

实测表现与评测审视

论文摘要给出的核心结果如下:

| 实验项 | 报告结果 | 应如何解读 | |---|---:|---| | Qwen2.5-Omni两种模型规模 | 输入Token减少54% | 序列缩短明确,但未给出各模态Token基数及视觉Token占比 | | 五个音视频基准,模型一 | 平均准确率为完整Token模型的101.2% | 属于相对基线指数,并非绝对准确率提升1.2个百分点 | | 五个音视频基准,模型二 | 平均准确率为完整Token模型的101.4% | 与全Token模型基本持平,仍需方差和显著性检验 |

101.2%和101.4%更合理的解释是压缩后平均成绩与基线相当,不能据此认定压缩提高了模型能力。摘要没有披露五个基准的绝对分数、单任务变化、随机种子和置信区间,也没有给出视觉单模态、纯音频、长视频、密集字幕、OCR及空间推理等压力测试。

此外,Qwen2.5-Omni两种规模的结果说明方法可能具有一定模型尺度适应性,但尚不足以证明其对其他全模态架构、编码器或视频采样策略同样有效。真正影响生产判断的指标还包括TTFT、峰值显存、吞吐、对象检测耗时、压缩率分布以及压缩后回答的置信度变化,这些目前均未披露。

开发者落地建议

  1. 先拆分序列构成。 统计视频、音频、文本和代理Token各自占比,确认54%的总Token降幅究竟来自跨模态去重还是对象文本替换。
  2. 同时测质量与系统成本。 除基准准确率外,应记录预填充FLOPs、TTFT、端到端时延、峰值显存、KV Cache、吞吐和P95时延,避免只报告Token压缩率。
  3. 建立分场景回放集。 至少覆盖视觉密集场景、OCR、计数、空间关系、长视频、音频与画面冲突、噪声音频以及无目标画面,并逐任务比较完整Token基线。
  4. 扫描压缩阈值而非固定单点。 记录保留Token数与准确率、时延之间的帕累托曲线,并按业务错误成本选择阈值;对低置信度场景保留原始视觉Token作为回退。
  5. 控制新增关键路径。 可批量运行检测器、缓存重复帧的视觉特征,并评估对象代理生成能否与视觉编码并行,避免压缩收益被前置模块抵消。
  6. 核验可复现信息。 落地前应补充闭式校准公式、阈值规则、代理生成模型、完整消融、代码与检查点状态,确认54%压缩率能否迁移到自有数据分布。

ReMo的关键启示是:全模态推理的Token压缩不必局限于视觉模态内部,也可以利用音频、文本和视觉之间的信息互补关系进行联合调度。其工程上限取决于压缩发生位置、注意力计算占比和代理信息损失;在获得时延、显存与细粒度鲁棒性数据前,54%应被视为有前景的序列压缩结果,而不是可以直接换算成同等比例服务降本的生产承诺。


消息来源:Hugging Face Daily Papers (2026-11-17)

—— 完 ——

主题标签: #ReMo #Omni-LLM #视觉Token压缩 #多模态推理 #Qwen2.5-Omni

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…