ISTA-DASLab发布Qwen-Flash-Next Coder：优化量化与稀疏专家架构，突破8GB GPU推理性能

摘要：ISTA-DASLab推出了Qwen-Flash-Next Coder模型，该模型采用创新的3.5 Bits Per Weight (BPW) 量化技术，结合稀疏专家混合（MoE）架构，在8GB GPU上实现了高效推理。通过将大部分MoE模块保留在RAM中，仅将最小模块加载到VRAM中，并利用快速SSD存储n-gram数据，Qwen-Flash-Next Coder在保持高性能的同时大幅降低了硬件资源需求。该模型在选择性MoE卸载下可达到70 T/s的PP（每秒处理参数）和8 T/s的TG（每秒生成token），展示了其在资源受限场景下的强大推理能力。

---

技术机制剖析

Qwen-Flash-Next Coder模型的核心突破在于其创新的量化技术与稀疏专家混合（MoE）架构的结合：

1. 3.5 BPW量化技术：该模型采用GSQ RCO量化方法，通过智能量化策略将模型权重压缩至3.5 BPW。这种方法不仅降低了模型的存储需求，还通过优化量化精度，在保持性能的同时减少了计算开销。

2. 稀疏专家混合（MoE）架构：Qwen-Flash-Next Coder通过移除一半的专家，将模型参数规模缩减至6B活跃参数。这种设计在保持模型性能的同时，显著降低了计算和内存需求。

3. 内存与存储优化：为了进一步提升推理效率，模型的大部分MoE模块被保留在RAM中，而最小的模块则被加载到VRAM中以加速处理。同时，n-gram数据被存储在快速的SSD上，以确保数据读取速度。

工程权衡与实测表现

• 硬件需求：该模型在8GB GPU和24GB RAM的硬件配置下运行良好。如果总内存约为32GB，也可以运行，但需要降低上下文大小以适应硬件限制。

• 性能表现：在选择性MoE卸载下，模型可达到70 T/s的PP和8 T/s的TG。然而，由于PCIe带宽限制（3.0版本），实际性能可能会有所不同。

• 优化建议：为了获得准确的每秒处理速度，建议进行第二次运行，因为第一次运行由于MMAP（内存映射）机制会较慢。此外，建议使用Vulkan后端而不是CUDA，以避免VRAM不足的问题。

开发者落地与部署建议

1. 硬件配置：建议开发者使用至少8GB GPU和24GB RAM的硬件配置，并确保使用快速的SSD存储模型数据。

2. 软件配置：建议使用qwen sharp chat模板，以减少过度思考并优化推理过程。

3. 性能优化：为了获得最佳性能，建议禁用浏览器的硬件加速，并调整启动参数以适应具体的硬件环境。

结论

Qwen-Flash-Next Coder通过创新的量化与MoE架构设计，在资源受限的硬件环境下实现了高效的推理性能。这一模型为AI应用在低资源设备上的部署提供了新的可能性，尤其适用于对延迟和计算资源有严格要求的场景。

---

消息来源：Reddit r/LocalLLaMA (2026-10-24)

—— 完 ——

主题标签： #ISTA-DASLab 关注 #Qwen-Flash-Next 关注 #量化技术 关注 #MoE架构 关注 #高效推理 关注