HiVe-Mem以二维记忆扩展与证据组合降低多模态智能体Token消耗

摘要：HiVe-Mem面向长交互多模态智能体提出二维记忆框架：水平扩展以文本和视觉锚点构建记忆关系图，从语义检索种子补充相关邻居；垂直组合为每条记忆保留摘要、描述、视觉区域、原图和交互历史，并由轻量可训练选择器按查询筛选证据。论文在三个多模态记忆基准上报告跨基础模型的一致性能提升，同时较最高效的竞争基线减少约90%的Token消耗。该方法兼顾召回覆盖与证据适配，但摘要未披露选择器参数、额外检索开销、存储成本及独立复现结果。

---

核心思路：把“找到哪段记忆”与“使用哪些证据”分开处理

传统多模态智能体记忆系统通常把每段交互压缩成固定摘要，再依靠文本或向量相似度完成检索。这一流程存在两个结构性缺陷：语义近邻不一定覆盖真正相关的记忆，而单条记忆被压缩成统一表示后，也无法针对不同查询调用图像、局部视觉证据或原始交互轨迹。

HiVe-Mem将记忆使用拆成两个正交维度：

• 水平记忆扩展（Horizontal Memory Expansion）：扩大可检索记忆的覆盖范围。
• 垂直证据组合（Vertical Evidence Composition）：针对当前查询，从每条已检索记忆中动态选择最有效的证据形式。

因此，检索阶段负责“哪些历史可能相关”，选择阶段负责“每段历史具体提供什么”，不再要求一种压缩表示承担所有下游任务。

水平扩展：以关系图恢复互补记忆

HiVe-Mem把记忆片段组织成关系图，并以文本锚点和视觉锚点建立连接。语义检索首先得到一组种子节点，随后沿关系边扩展到相关邻居，从而补充单次向量检索可能遗漏的信息。

从机制上看，这一过程相当于把检索结果从集合

[ R = {r_1, r_2, \ldots, r_k} ]

扩展为带邻域的子图：

[ R^+ = R \cup N(R) ]

其中，(N(R))表示种子节点在关系图中的相关邻居。它比单纯提高Top-K更温和，因为新增节点受图结构约束，而不是无条件扩大候选集合；理论上还能召回“与查询语义不完全相同、但与种子经历存在事件或实体关联”的记忆。

视觉锚点尤其重要。对于“之前那个物体后来发生了什么”之类查询，文字摘要可能不足以建立可靠连接，而视觉相似性或共同场景实体可以补足关系。代价是系统需要维护图文锚点、图索引和原始媒体引用，存储与更新成本通常高于纯文本摘要方案。

垂直组合：让每条记忆暴露多种证据视图

每条被检索到的记忆不再只有一种表示。HiVe-Mem保留以下证据形式：

• 紧凑摘要，适合快速提供事件轮廓；
• 图像描述，适合语义层面的对象与场景识别；
• 定位后的视觉视图，适合核对具体区域或局部细节；
• 原始图像，用于避免描述信息丢失造成的信息瓶颈；
• 交互历史，用于保留动作顺序、工具调用及状态变化。

轻量可训练选择器针对每个查询、每条记忆独立打分，并组合出证据子集。它可以近似写成：

[ E_m(q) = {e_i \mid s_i(q,m) \ge \tau_m} ]

其中，(m)表示一条记忆，(q)表示当前查询，(s_i)是选择器对第(i)种证据的适配分数。与固定拼接全部证据相比，这一机制能够减少冗余Token；与只提供摘要相比，它又保留了核验细节的能力。

这里的“组合”更接近查询条件下的证据选择与条件化，而非生成一段新的跨模态摘要。该设计可以避免二次摘要引入的信息损失，但也意味着选择器一旦误判，可能同时丢掉正确摘要与真正有用的视觉证据。

工程权衡：Token下降不等于系统成本同比下降

论文报告HiVe-Mem相较最高效的竞争多模态记忆基线减少约90%的Token消耗，这是该工作的主要工程卖点：对于依赖长历史、上传原始图像或保留完整工具轨迹的智能体，Token减少可以降低推理延迟、显存占用和API成本。

不过，系统总成本不能只看提示词Token：

1. 图构建与维护：每次交互写入新片段时，需要提取文本和视觉锚点、更新实体或事件关系，并维护索引一致性。
2. 多模态存储：摘要和文本成本较低，原始图像、局部视图与完整交互记录会形成更高的对象存储和I/O负担。
3. 选择器推理：每次查询还要执行证据打分。摘要未披露选择器参数量及是否需要独立视觉编码，因此不能据90%的Token降幅推导同等比例的端到端延迟下降。
4. 图扩展开销：水平扩展增加候选记忆后，后续选择与上下文组装仍可能产生额外延迟。
5. 历史写入成本：保留多种证据形态有利于长期交互，但会增加早期摄入阶段的编码和存储成本。

这套架构更适合交互历史持续增长、同时保留文本与视觉证据的长期智能体。对于历史较短、视觉素材较少的任务，复杂图结构和多证据选择器未必能抵消其工程复杂度。

评测表现与可信度边界

HiVe-Mem在三个多模态记忆基准上覆盖多个基础模型，并报告任务性能的一致提升，说明收益并非只来自某一个特定骨干模型。作者还强调，与最节省Token的竞争基线相比，Token消耗约降低90%，表明方法并非单纯以更长上下文换取准确率。

但现有摘要没有提供完整实验细节，因此以下问题仍需查证：

• “最高效竞争基线”的定义及Token统计是否包含图像Token；
• 三个基准的任务规模、历史长度和视觉证据比例是否足够多样；
• 性能提升的绝对数值、置信区间和统计显著性；
• 选择器及图扩展模块的参数量、训练数据量和训练成本；
• 面对原始图像、局部视觉和交互轨迹时，存储成本如何计入；
• 结论能否迁移到闭源商业模型和真实生产工具调用轨迹。

尤其是“减少约90%Token”的表述需要结合计数口径理解。如果原图以视觉Token编码，其成本可能明显高于同等长度的文本；若比较时只统计最终送入模型的Token，而未计入离线编码、图维护与存储成本，则该数字不能代表全生命周期节省。

开发者落地建议

对于希望实现长期多模态记忆的团队，可以按以下顺序集成：

1. 先建立统一事件ID：让摘要、描述、视觉区域、原图和工具轨迹都指向同一条记忆，避免后续证据拼接错位。
2. 采用双层索引：使用成熟的向量或关键词检索获取种子，再用事件关系图做受限邻域扩展，而不是默认提高Top-K。
3. 保留原始证据引用：摘要用于召回和快速浏览，原始图像及交互轨迹按需加载，兼顾准确性与成本。
4. 训练轻量选择器：分别建模“查询—记忆—证据类型”的适配关系，并保留回退机制，防止某一证据类型被系统性压制。
5. 完整核算成本：同时记录上下文Token、视觉Token、检索延迟、编码成本、对象存储量和历史写入时间。
6. 重点做失效测试：覆盖视觉锚点错误、关系图噪声、摘要与原图冲突，以及选择器面对未见查询类型时的鲁棒性。

HiVe-Mem的价值不在于提出新的基础模型，而在于重新组织多模态智能体的记忆访问协议：先通过关系图扩大召回，再用查询自适应选择器压缩证据。如果后续公开代码和完整基准结果能够验证Token统计口径与长期维护成本，这套方法有望成为多模态长期智能体中兼顾召回率、证据质量和上下文预算的实用框架。

---

消息来源：Hugging Face Daily Papers (2026-11-09)

—— 完 ——

主题标签： #多模态智能体 关注 #长期记忆 关注 #检索增强生成 关注 #证据选择 关注 #Token优化 关注