arXiv发布DISCO：高效分布式大语言模型推理新框架

摘要：arXiv近日发布了一种名为DISCO的新型分布式大语言模型（LLM）推理框架。该框架通过引入服务器端的草稿小语言模型（SLM）副本，消除了词汇量级的分布传输开销，同时保持了精确的目标分布。实验结果表明，DISCO在多个数据集上均实现了比现有方法更高的解码速度提升，尤其在带宽受限的环境下表现尤为突出。这一创新为设备-服务器协作的LLM推理提供了更高效的解决方案。

---

1. 技术背景与挑战

分布式大语言模型（LLM）推理是当前AI领域的研究热点之一，其目标是利用设备与服务器协作提升推理效率。然而，现有方法在解码速度提升方面面临词汇量级通信传输开销的瓶颈。具体来说，精确的拒绝采样需要设备与服务器之间传输完整的LLM词汇分布，这在带宽受限的环境下成本高昂。

2. DISCO框架的核心机制

DISCO通过以下机制解决了上述问题：

• 服务器端SLM副本引入：DISCO在服务器端引入草稿小语言模型（SLM）的副本，使得服务器能够本地获取拒绝采样所需的目标分布，而无需传输完整的词汇分布。

• 仅传输草稿token索引与标量概率值：通过这种方式，DISCO仅需在设备与服务器之间交换草稿token索引和标量概率值，从而大幅降低了通信开销。

3. 实验结果与性能分析

DISCO在多个数据集上的实验结果表明：

• 解码速度提升：与现有方法相比，DISCO在解码速度上实现了显著提升，尤其在带宽受限的环境下表现更为突出。

• 带宽效率：由于仅需传输草稿token索引和标量概率值，DISCO在带宽利用效率上表现优异。

• 适用性：该框架不仅适用于特定类型的LLM，还具有广泛的适用性，能够适应不同的模型规模和任务场景。

4. 工程权衡与局限性

尽管DISCO在解码速度和带宽效率上表现出色，但其主要局限性在于：

• 服务器端SLM副本的存储开销：引入服务器端SLM副本会增加服务器的存储需求，尤其在处理大规模模型时可能带来挑战。

• 延迟问题：尽管通信开销降低，但服务器端SLM副本的本地计算可能引入额外的延迟，需要在具体应用中权衡。

5. 开发者建议

对于开发者而言，DISCO框架的部署需要注意以下几点：

• 服务器配置优化：建议根据模型规模和任务需求优化服务器配置，以平衡存储和计算开销。

• 带宽管理：在带宽受限的环境中，DISCO的优势尤为明显，开发者应充分利用这一特性提升推理效率。

• 模型适配：DISCO框架需要与具体的LLM模型适配，开发者应关注模型的兼容性和性能调优。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-28)

—— 完 ——

主题标签： #分布式推理 关注 #大语言模型 关注 #通信效率 关注 #arXiv 关注