Osprey:目标无关预训练提升推测解码性能
摘要:Osprey是一种新型的推测解码框架,通过利用现成的预训练小语言模型作为基础,显著提升了LLM推理的效率。其核心创新在于将目标无关的预训练作为可复用的资源,减少了针对每个目标模型的重复训练工作。Osprey通过剪枝、目标无关的下一词预测预训练、词汇对齐以及蒸馏等方法,实现了跨目标模型的高效适配。实验结果表明,Osprey在多个主流大语言模型上均表现出色,尤其在跨领域和多语言数据处理中表现尤为突出。
背景与挑战
在加速大语言模型(LLM)推理的过程中,推测解码(Speculative Decoding)是一种关键的技术手段。然而,现有方法的加速效果往往不够稳定,因为传统的drafters通常针对单一目标模型进行训练,在工作负载变化时,其接受率会大幅下降。这种情况与现代LLM的发展趋势形成鲜明对比,后者强调通过大规模预训练获得广泛的泛化能力。
Osprey的创新解决方案
Osprey提出了一种全新的方法,通过利用现成的预训练小语言模型作为基础,将目标无关的预训练作为可复用的资源,从而减少针对每个目标模型的重复训练工作。具体来说,Osprey的创新点包括:
- 目标无关的预训练:将预训练视为一种可复用的资产,而不是针对每个目标模型重复进行。
- 剪枝与适配:通过剪枝技术将小语言模型压缩为一个浅层骨干网络,并使用目标无关的下一词预测预训练恢复其语言建模能力。
- 词汇对齐与蒸馏:通过词汇对齐、零初始化的QKV扩展以及从目标模型的输出分布进行蒸馏,实现对每个目标模型的适配。
实验结果
实验结果表明,Osprey在多个主流大语言模型上均表现出色:
- 在Qwen3-8B模型上,平均接受长度提高了16.1%。
- 在Llama-3.3-70B-Instruct模型上,平均接受长度提高了21.2%。
- 在MiniMax-M2.5(229B)模型上,平均接受长度提高了22.7%,同时每秒处理的token数量增加了17.5%。
尤其是在跨领域和多语言数据处理中,Osprey的表现尤为突出,展示了其在实际应用中的巨大潜力。
行业影响与开发者建议
Osprey的出现为LLM推理加速提供了新的思路,尤其在处理复杂任务和多语言数据时,其优势更加明显。对于开发者而言,Osprey提供了一种更高效、更灵活的解决方案,可以显著减少训练时间和计算资源消耗。
未来展望
随着Osprey的进一步优化和推广,未来有望在更多领域和场景中应用,例如多模态AI、智能体交互以及实时数据处理等。同时,Osprey也为其他研究者提供了一个新的研究方向,即如何更好地利用预训练模型的优势来提升AI系统的整体性能。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-10)
主题标签: #Osprey #预训练 #推测解码 #大语言模型 #推理加速
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区