vLLM过载实验揭示:仅取消请求无法扭转重试风暴
论文在 vLLM 上复现大模型服务过载场景,发现客户端与代理层自动重试会持续制造额外执行;即使请求量已低于服务容量,单纯传播取消也未能在任何实验中恢复服务,过载后仅有12%至38%…
智客 ZICQ 每日整理大模型、开源基础设施与开发者现场的 AI 新闻与深度文章。
投稿技术文章当前筛选: 标签: #视觉检索头 清除筛选
论文在 vLLM 上复现大模型服务过载场景,发现客户端与代理层自动重试会持续制造额外执行;即使请求量已低于服务容量,单纯传播取消也未能在任何实验中恢复服务,过载后仅有12%至38%…
前沿论文· 2026-11-10
论文从最优传输视角重新审视结构因果模型中的反事实回溯推断。由于事实观测通常只能确定外生变量的后验分布,反事实推断本质上是一个分布传输问题。作者提出两种互补框架:点式投影直接寻找满足…
大模型· 2026-11-10
ChainFlow 是一种以目标模型隐藏状态为条件的新型推测解码草稿器。它把草稿生成建模为潜空间中的短程流传输,仅需一至两步即可生成候选 Token;变分自编码器负责压缩目标隐藏状…
智能体· 2026-11-10
论文在保持智能体脚手架不变的前提下,将仅使用交互式调试器的编码智能体与仅使用Bash的智能体进行对照,覆盖SWE-bench Verified全部500个实例,并以GPT-OSS-…
智能体· 2026-11-10
Forge Decision Context(forge_dc)面向智能体无法跨会话继承行为规则的问题,从人工纠正和工具调用失败中提炼命令式 RULE 指令,并仅在相关决策点注入上…
大模型· 2026-11-10
论文提出 Aspect-wise Pairwise Tournaments(APT),把最佳候选选择从逐答案绝对评分改造成单淘汰式两两比较:每场比赛由多个现成验证器分别依据正确性、…
智能体· 2026-11-10
NormGym提出面向智能体规范能力的多智能体交互基准,要求新成员在完成自身任务的同时,从他人的行为与制裁反馈中推断隐藏、任意的社会规范,并在新情境中遵守它。评测显示,最强受测大语…
智能体· 2026-11-10
AWS Quick 将企业智能体划分为代理、技能、知识空间与连接器四层:代理负责规划和执行,技能封装可复用任务指令,知识空间提供文档与结构化数据,连接器则打通 Slack、Jira…
行业动态· 2026-11-09
OpenAI推出Control Room,用于集中跟踪其研究基础设施中的模型工作负载,并在出现安全或网络安全问题时快速终止相关任务。该系统把分散的工作负载可见性、运行状态管理与紧急…
大模型· 2026-11-09
Amazon Bedrock Managed Knowledge Base 扩展 AgenticRetrieveStream,以 maxAgentIteration 在一次接口中统…
行业动态· 2026-11-09
MIT Technology Review在弗吉尼亚“数据中心走廊”的实地调查指出,AI基础设施引发的社区反弹不应被简单归因于反科技情绪,核心矛盾是电网容量与成本转移。弗吉尼亚现有…
行业动态· 2026-11-09
Kuken Industries利用OpenAI API检索公司积累约70年的冷却塔工程图纸,将维修人员定位目标图纸的时间从接近1小时缩短至4.5分钟。该案例展示了生成式AI在非结…