StartLuxLabs发布ReaDy：利用HLA递归状态加速混合线性注意力大语言模型推测解码

摘要：StartLuxLabs推出了一种名为ReaDy的新型推测解码方法，该方法利用混合线性注意力（HLA）模型的递归状态，为每个推测位置提供特定上下文，从而显著提升解码效率。ReaDy通过学习查询从目标递归状态中检索补充上下文，并通过轻量级状态读取器进行残差更新，在多个基准测试中实现了平均3.16倍的解码速度提升，超越了现有的DSpark方法。ReaDy的发布为AI开发者提供了一种高效处理长序列生成任务的新工具，尤其适用于数学、代码生成和对话系统。

---

技术机制剖析

ReaDy的核心机制在于利用混合线性注意力（HLA）模型的递归状态，为每个推测解码步骤提供特定上下文。HLA模型通过紧凑的递归状态积累历史关联，为推测解码提供了高效的补充上下文来源。ReaDy为每个推测位置配备一个学习查询，从目标的提交递归状态中检索补充上下文，并通过轻量级状态读取器将其整合到推测表示中。

工程权衡与实测表现

ReaDy的设计在计算开销和性能提升之间取得了良好的平衡。其低秩状态读取和融合操作符确保了额外的计算和I/O开销保持在较低水平。此外，ReaDy采用了两阶段轻量级适应策略，通过消融研究优化了读取器容量、状态源和残差放置。在七个基准测试中，ReaDy在单个NVIDIA B200 GPU上实现了平均3.16倍的解码速度提升，超越了现有的DSpark方法，并在所有基准测试中表现出色。

开发者落地与部署建议

ReaDy的发布为AI开发者提供了一种高效处理长序列生成任务的新工具，尤其适用于数学、代码生成和对话系统。以下是一些部署建议：

1. 硬件要求：建议使用NVIDIA B200或更高性能的GPU以获得最佳性能。
2. 模型集成：ReaDy可以与现有的HLA模型无缝集成，开发者只需调整解码流程即可。
3. 性能优化：通过调整读取器容量和状态源，开发者可以进一步优化ReaDy的性能，以适应特定应用场景的需求。

结论

ReaDy的推出标志着推测解码技术的一个重要进步。通过利用HLA模型的递归状态，ReaDy不仅提升了解码效率，还为AI开发者提供了一种更灵活、更高效的工具来处理长序列生成任务。

---

消息来源：Hugging Face Daily Papers (2026-10-14)

—— 完 ——

主题标签： #StartLuxLabs 关注 #ReaDy 关注 #混合线性注意力 关注 #推测解码 关注 #长序列生成 关注