循环语言模型延迟入场:深缓存与Wake流水线加速解码
摘要:《Late Entry in Looped Language Models》针对循环语言模型每个Token需串行复用同一权重栈T次的问题,提出“延迟入场”:新Token跳过前段迭代,借助已完成深度的上下文KV Cache进入最后K轮,并以轻量微调修复隐藏状态范数错配。其Wake机制让候选块只在关键路径执行末K轮,已提交Token在后台补齐1→T轮,再由输出GEMM内的投影完成greedy-exact或容差验证。论文在Ouro-2.6B与Huginn-3.5B上报告最高12.5倍加速,但绝对时延、显存、硬件与复现代码仍待核验。
循环语言模型把同一组 Transformer 层重复执行 T 轮,以有限参数换取测试时计算深度;代价是每个 Token 的解码关键路径随 T 线性增长。Late Entry 论文没有继续压缩单轮层计算,而是让新 Token 从递归后段进入,并把已提交 Token 尚未完成的递推移出关键路径。 ## 核心机制:深缓存替代被跳过的前段计算 普通循环语言模型的第 l 轮计算可抽象为: `h_t^(l+1) = F_l(h_t^(l), KV_ **消息来源**:[Hugging Face Daily Papers](https://huggingface.co/papers/2611.24576) (2026-11-18) —— 完 ——
主题标签: #循环语言模型 #延迟入场 #KV Cache #CUDA Graph #推理优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区