Gemini API预览Tool Retrieval:智能体按需检索数百工具
摘要:Google 在 Gemini API 中预览 Tool Retrieval,让智能体在拥有数百个可用工具时按任务检索相关工具定义,减少把全部工具说明塞进上下文所需的 Token 与预填充负担。其价值不在新增模型能力,而在工具发现、选择与上下文构建的基础设施化。官方节选未披露检索算法、Top-K、延迟、质量指标、定价与配额,也未给出相对静态全量注入的对照数据。生产采用仍需验证召回率、端到端时延、权限隔离和预览稳定性。
核心变化
Google 在 Gemini API 中启动 Tool Retrieval 预览。官方给出的目标很具体:让智能体访问数百个工具,同时减少工具定义占用的上下文 Token。它解决的是工具目录扩张造成的 Prompt 膨胀,而不是新增模型参数、模态或推理能力。
目前公开节选只确认了预览状态与总体收益,尚未给出 API 参数、支持模型、区域、配额、定价或 SLA,因此不能把“数百工具、较少 Token”直接换算成确定的成本节省比例。
从全量注入转向按需检索
传统 Function Calling 通常把全部工具的 JSON Schema 放入请求上下文。工具数量达到数百个时,请求会同时承担三部分成本:
- 所有工具描述占据大量输入 Token;
- 长前缀增加预填充计算与首 Token 延迟;
- 大量无关工具会扩大候选动作空间,增加选错工具或生成错误参数的概率。
静态注入的输入规模可近似表示为:
T_static ≈ T_task + Σ T(schema_i) + T_output
如果检索层只返回集合 R_k 中的相关工具,则动态路径可近似表示为:
T_dynamic ≈ T_task + T_query + T_retrieval + Σ(i∈R_k) T(schema_i) + T_output
其理论节省量取决于未被选中的工具 Schema 总量,是否足以覆盖查询构造、检索、网络传输和结果封装开销。Google 的节选没有披露其实际算法,因此这些公式用于解释工程收益边界,而不是对内部实现的断言。
一个典型的行业参考路径包括:
- 将工具名称、描述、参数 Schema 和版本元数据注册到工具目录;
- 根据当前任务或对话状态构造检索查询;
- 使用关键词、稠密向量或混合检索召回候选工具;
- 通过重排器筛选与任务最相关的 Top-K 工具;
- 仅把入选工具定义注入模型,再沿用常规函数调用流程执行。
Google 没有说明该预览究竟采用关键词、向量还是混合检索,也没有确认 Top-K、重排、缓存及索引刷新策略。
对智能体系统的实际价值
工具检索首先是一项上下文工程改造。模型上下文窗口即使继续扩大,也不会消除工具 Schema 的传输、预填充和缓存成本;而动态工具集合如果每轮变化,还可能破坏共享前缀缓存命中率。
对拥有数十至数百个工具的客服、运维、研发和数据处理智能体而言,按需暴露工具可以同时减少无关指令干扰,并把扩容重点从无限堆叠 Prompt 转移到检索质量、工具描述治理和调用可观测性。
工程权衡与风险
- 召回率与漏检:只选 Top-K 工具可能漏掉完成任务所需的依赖工具。错误工具通常只是增加噪声,漏掉关键工具则可能直接中断任务链,因此必须评估工具召回率,而不能只看 Token 节省率。
- 检索与重排时延:节省的预填充时间可能换来向量检索或重排的网络往返。工具越多、查询越复杂,端到端时延越需要按 P50 和 P95 测量。
- 组合任务能力:单工具语义相关性不代表完整执行计划正确。例如订票任务可能同时需要查询航班、获取用户偏好和执行支付,按相关性独立召回未必能覆盖依赖关系。
- 缓存稳定性:如果不同请求检索出不同工具集合,公共前缀会频繁变化,可能降低 Prompt Cache 命中率;若工具集合稳定,则可缓存检索结果、向量或 Schema 片段。
- 版本一致性:工具描述、参数和权限发生变化后,检索索引必须同步更新。索引滞后可能让模型拿到旧 Schema,进而产生无效参数或调用错误版本。
- 权限隔离:用户无权调用的工具应在检索前被过滤,而不是等模型选中后再拒绝。否则即使执行层拦截成功,工具名称与描述仍可能通过上下文泄露。
- 可观测性:生产系统应记录查询、候选工具、重排分数、最终选择、Token 变化、调用结果和失败原因,否则很难区分检索错误、选错工具与参数生成错误。
性能证据与评测边界
官方表述只有“访问数百个工具”和“使用更少 Token”两项定性结论,未公布绝对 Token 数、任务成功率、首 Token 时延、端到端时延、请求成本或统计方差。因此,它目前不能证明检索方案在质量或延迟上优于静态注入。
合理的对照实验应包括:静态注入全部工具、关键词检索、纯向量检索、向量检索加重排,以及带人工标注的 Oracle Top-K。测试集需要覆盖单工具查询、多工具组合、同义表达、权限受限和 Schema 更新等场景,并按 10、100、500 个工具分别测量。
核心指标应包括输入 Token、Prompt Cache 命中率、首 Token 时延、端到端 P95、工具 Recall@K、错误工具率、参数有效率、任务完成率与单次调用成本。基准还应混入过时或名称相近的工具,避免只测语义清晰、描述规范的理想样本。
开发者落地建议
- 将少量高频、关键工具直接暴露,把长尾工具交给检索层,比较混合方案是否优于纯动态检索。
- 为工具描述增加唯一能力边界、参数语义和版本信息,避免仅凭名称进行召回。
- 在检索前执行租户、角色和工具级权限过滤,并为权限不足场景设置明确的不可用提示。
- 对工具 Schema 使用不可变版本或内容摘要,确保模型看到的定义与执行端注册版本一致。
- 记录检索候选、选择结果、Token 节省量和任务成败,用真实流量校准 Top-K、阈值与重排策略。
- 准备静态全量注入或显式搜索工具作为回退路径,防止检索漏召回导致智能体失去关键能力。
- 由于功能仍处预览阶段,关键生产链路应固定 API 与模型版本,并验证配额、限流、区域可用性和版本兼容策略。
结语
Tool Retrieval 把智能体工具扩展的关键瓶颈从“能否把更多 Schema 塞进 Prompt”转向“能否准确、及时且安全地找到工具”。这是 Gemini API 中具有直接开发者价值的基础设施更新,但目前公开证据不足以量化其质量收益。生产决策应以真实工具目录上的召回率、端到端延迟和任务完成率为核心,而不是只看 Token 缩减幅度。
—— 完 ——消息来源:Google AI Blog (2026-11-19)
主题标签: #Google #Gemini API #Tool Retrieval #智能体工具调用 #上下文工程
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区