压缩智能体推理历史，降低长链任务Token成本

摘要：这项研究提出一种无需重新训练模型的推理历史压缩方法：在工具结果返回前，将既有推理轨迹重写为紧凑状态记录，再从压缩上下文继续生成。测试显示，接受压缩历史后，模型通常会生成更短的后续推理，编码智能体中的重复验证也有所减少；软件智能体部署的总支出因此下降，但任务质量与包含重写耗时的端到端延迟会随模型和压缩器变化。方法的价值不在简单截断上下文，而在于把“推理记忆”改造成可检索、可压缩的任务状态表示，并据此制定模型专属的压缩策略。

---

核心思路

这项研究把长推理链的成本问题从“如何让模型生成得更短”转移到“如何改变模型已经生成的推理历史”。方法不需要重新训练模型：在下一次工具结果返回之前，将此前的推理内容重写成紧凑状态记录，然后比较模型从原始历史和压缩历史继续生成时的行为。

这是一种面向推理上下文的干预，而非简单的上下文截断。截断通常会直接丢弃尚未完成的假设、约束和中间证据；状态重写则试图保留任务推进所需的信息，把冗长叙述转换为更短的结构化表示。论文报告称，在被接受的压缩历史下，模型后续生成的推理通常更短；在编码案例中，模型对同一候选方案的重复验证也有所减少。

技术机制

从智能体执行流程看，压缩发生在工具调用之间。可以将原始历史记为：

[ H_t = {(o_i, a_i, r_i)}_{i=1}^{t} ]

其中 (o_i) 是观察，(a_i) 是模型动作，(r_i) 是工具返回结果。常规做法是把完整历史重新送入模型；该方法先构造压缩状态：

[ \hat{H}_t = C(H_t) ]

其中 (C) 是压缩器，其输出不是原始轨迹的逐句摘要，而应尽量保留未来决策所需的约束、候选方案、已验证事实、未完成事项和工具状态。随后，模型分别以 (H_t) 和 (\hat{H}_t) 为条件生成下一步轨迹：

[ P(a_{t+1} \mid H_t) \quad \text{与} \quad P(a_{t+1} \mid \hat{H}_t) ]

这一对比能够区分两件事：压缩历史是否改变了模型的行为，以及改变后的行为是否更短、更少重复，同时是否损害任务正确率。

从工程角度看，压缩收益至少包含三项：减少后续输入上下文长度、减少后续输出 Token 数、减少智能体因重复验证而触发的额外工具调用。但系统总成本不能只计算生成 Token。若压缩器本身需要一次大模型调用、规则系统执行或外部检索，就必须把重写时间和 Token 费用计入总账。

工程权衡

压缩历史存在明显的信息损失风险。模型后续推理变短，并不自动意味着它保留了关键约束。尤其在软件智能体中，过度压缩可能删除：

• 已尝试但失败的补丁及失败原因；
• 环境约束、依赖版本和权限边界；
• 尚未验证的候选解决方案；
• 工具调用与观测结果之间的对应关系。

因此，压缩器与目标模型必须联合评估。模型并不具备天然统一的“内部状态格式”：同一个压缩摘要可能适合短链数学任务，却会破坏需要持续保留调试细节的编码任务。

成本评估也需要区分两类延迟。第一类是上下文缩短带来的生成延迟下降；第二类是重写历史本身产生的额外延迟。对于低并发、交互式任务，端到端延迟可能改善不明显；对于长链、高 Token 消耗的智能体任务，即便压缩器额外调用一次，只要后续轨迹和工具调用显著缩短，总支出仍可能下降。

此外，压缩后的上下文通常会增加“摘要漂移”风险：模型可能在后续生成中过度依赖被压缩器错误解释的状态。研究明确显示，任务质量和包含重写时间的总耗时取决于目标模型与压缩器配置，因此不能把平均 Token 降幅直接当作生产收益。

评测表现应如何解读

论文给出的核心证据包括：被接受的压缩历史通常使未来推理更短；编码案例中重复验证减少；软件智能体部署的总支出可能下降。这些结果支持“推理历史可以作为未来推理成本控制杠杆”的结论。

但当前摘要没有披露完整测试矩阵：包括被测模型清单、压缩比、接受压缩历史的比例、各任务成功率变化、重写器额外 Token 成本、端到端时延分布以及统计显著性。因此，论文目前更能证明方法方向有效，而不是证明某个固定压缩策略可以普遍部署。

评测时还应分别报告：

1. 原始轨迹与压缩轨迹的未来输出 Token 数；
2. 任务成功率或代码通过率；
3. 工具调用次数及重复调用比例；
4. 压缩器自身的时间与 Token 成本；
5. 压缩失败时的回退策略；
6. 长链任务中的误差累积和状态丢失率。

尤其不能只用平均长度下降来证明收益。过度压缩可能让模型更快地结束，却降低正确完成任务的概率；对于生产智能体，能力保持与成本下降应通过帕累托曲线联合判断。

开发者落地建议

可以将该方法实现为智能体运行时中的“推理上下文压缩层”，而不是训练流程的一部分。较稳妥的部署流程包括：

• 按任务类型设置压缩触发点，例如在工具返回后、下一次规划前，而不是固定每N轮压缩；
• 为状态记录保留任务目标、硬约束、已验证事实、候选方案、失败原因和下一步动作；
• 让压缩器输出结构化字段，同时保留少量可回溯原文；
• 对压缩前后生成进行低成本校验，发现关键约束缺失时回退到原始历史；
• 按模型分别维护压缩阈值和接受策略，避免用一个摘要模板覆盖所有模型；
• 在线记录 Token、工具调用、时延、成功率和重试率，以“每次成功任务的总成本”作为优化目标。

对于企业部署，压缩层还需要加入敏感信息最小化和审计机制。推理历史可能包含源码、凭据或内部路径，摘要过程不能成为绕过原有上下文访问控制的新通道。

研究意义

该工作提出了一条与模型训练、推理量化和KV Cache优化互补的降本路径。前者改变模型参数或计算表示，后者优化缓存和注意力开销，而推理历史压缩直接利用任务轨迹中的冗余重复来减少未来上下文和生成负担。

如果后续能在更大模型、更长工具链和不同任务分布上验证稳定收益，推理历史压缩可能成为智能体上下文管理的重要一层：模型不只被要求“少说”，系统还会主动改变模型已经形成的思考上下文。其最终价值取决于能否在降低 Token 消耗的同时，严格守住任务能力与安全边界。

---

消息来源：Hugging Face Daily Papers (2026-11-02)

—— 完 ——

主题标签： #推理压缩 关注 #智能体上下文 关注 #Token成本 关注 #工具调用 关注 #长链任务 关注