智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #循环语言模型 #延迟入场 #KV Cache #CUDA Graph #推理优化

循环语言模型延迟入场:深缓存与Wake流水线加速解码

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:《Late Entry in Looped Language Models》针对循环语言模型每个Token需串行复用同一权重栈T次的问题,提出“延迟入场”:新Token跳过前段迭代,借助已完成深度的上下文KV Cache进入最后K轮,并以轻量微调修复隐藏状态范数错配。其Wake机制让候选块只在关键路径执行末K轮,已提交Token在后台补齐1→T轮,再由输出GEMM内的投影完成greedy-exact或容差验证。论文在Ouro-2.6B与Huginn-3.5B上报告最高12.5倍加速,但绝对时延、显存、硬件与复现代码仍待核验。


循环语言模型把同一组 Transformer 层重复执行 T 轮,以有限参数换取测试时计算深度;代价是每个 Token 的解码关键路径随 T 线性增长。Late Entry 论文没有继续压缩单轮层计算,而是让新 Token 从递归后段进入,并把已提交 Token 尚未完成的递推移出关键路径。 ## 核心机制:深缓存替代被跳过的前段计算 普通循环语言模型的第 l 轮计算可抽象为: `h_t^(l+1) = F_l(h_t^(l), KV_ **消息来源**:[Hugging Face Daily Papers](https://huggingface.co/papers/2611.24576) (2026-11-18) —— 完 ——

主题标签: #循环语言模型 #延迟入场 #KV Cache #CUDA Graph #推理优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…