跳到主内容
智客 ZICQ

智客 AI 新闻

智客 ZICQ 每日整理大模型、开源基础设施与开发者现场的 AI 新闻与深度文章。

当前筛选: 标签: #ConsRNN 清除筛选

大模型· 2026-11-09

Mr.Xu0 次阅读0 条讨论与划词

vLLM过载实验揭示:仅传播取消无法遏制重试风暴

研究在vLLM上复现大模型服务过载与客户端重试场景,发现请求即使降至容量以下,引擎也可能因重试新增执行而无法恢复。开启重试后,单靠取消传播未能恢复任何一次实验,过载后请求的交付率仅…

大模型· 2026-11-09

Mr.Xu0 次阅读0 条讨论与划词

ChainFlow用两步流匹配重构大模型推测解码

ChainFlow提出一种以目标模型隐藏状态为条件的新型推测解码草稿器,将草稿生成从自回归逐Token预测或扩散去噪改写为短程连续流传输。其VAE先压缩隐藏状态,轻量反馈头恢复To…