智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #InflationAgent #LLM #token inflation #推理成本优化

arXiv提出InflationAgent:解决大语言模型推理成本膨胀问题

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项关于大语言模型(LLM)推理成本优化的研究,提出了一种名为InflationAgent的四阶段路由算法。该算法通过系统测量不同模型层级和任务类型的token膨胀率(token inflation),并引入了一种基于局部推理的预执行难度信号——CoT Branching Entropy(CBE),以预测高膨胀风险。InflationAgent通过最大化语义交换率(SER)来选择模型,并采用新鲜升级策略,在固定预算下实现了比FrugalGPT更高的准确率,同时减少了31%的token消耗。


研究背景与问题

在基于大语言模型(LLM)的智能体系统中,当模型首次未能回答查询时,系统会进行重试,这导致每次重试都会消耗额外的token。这种重试开销造成了模型每token价格与实际工作流成本之间的差距,研究人员将其称为“token膨胀”(token inflation)。现有的系统,如FrugalGPT,基于单次调用成本进行路由选择,可能在困难任务中低估真实成本超过2倍。

InflationAgent的解决方案

为了解决这一问题,研究人员提出了InflationAgent,这是一种四阶段路由算法,具体包括:

  1. 系统测量token膨胀:在不同模型层级和任务类型中测量token膨胀率,发现对于7B模型在多跳问答任务中,膨胀率高达4.25倍。
  2. 引入CoT Branching Entropy(CBE):这是一种基于局部推理的预执行难度信号,能够预测高膨胀风险,其AUROC达到0.887。
  3. 基于语义交换率(SER)选择模型:SER通过将预期准确率除以预测的真实成本来计算,并采用新鲜升级策略,在路由到更强模型之前丢弃失败的推理链。

实验结果

在GSM8K数据集上的实验表明,在固定预算下,InflationAgent实现了94.7%的准确率,而FrugalGPT为91.0%,同时减少了31%的token消耗。此外,研究还发现,将失败的推理链转发给GPT-4o会导致其准确率下降多达34.8个百分点,验证了新鲜升级策略的有效性。

技术亮点

  • Token膨胀的系统性测量:首次对不同模型和任务类型的token膨胀进行量化分析。
  • CoT Branching Entropy(CBE):一种创新的预执行难度信号,能够有效预测高膨胀风险。
  • 语义交换率(SER)最大化:通过最大化SER来选择最佳模型,确保在准确率和成本之间取得平衡。
  • 新鲜升级策略:在路由到更强模型之前丢弃失败的推理链,避免不必要的token消耗。

行业影响与开发者建议

InflationAgent的提出为LLM推理成本优化提供了新的思路,尤其适用于对成本敏感的应用场景。开发者可以参考以下建议:

  • 评估token膨胀:在设计智能体系统时,应考虑不同任务和模型的token膨胀情况。
  • 采用新鲜升级策略:在路由到更强模型之前,丢弃失败的推理链,以减少不必要的token消耗。
  • 结合CBE和SER:利用CBE预测高膨胀风险,并通过SER选择最佳模型,以实现成本和准确率的平衡。

结论

InflationAgent展示了在LLM推理成本优化方面的巨大潜力,为AI开发者提供了一种有效的解决方案。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-18)

—— 完 ——

主题标签: #InflationAgent #LLM #token inflation #推理成本优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…