ISTA发布DeepSeek-V4.1-Flash-1017-GSQ-RCO Coder：实现1比特/参数的高效压缩模型

摘要：ISTA Deep Algorithms and Systems Lab发布了DeepSeek-V4.1-Flash-1017的Coder版本，该版本采用GSQ（Gumbel-Softmax Quantization）和RCO（Riemannian Constrained Optimization）技术进行压缩，模型参数降至1比特/参数，同时保留了98.7%的LiveCodeBench性能和94.8%的SWE-bench性能。该模型通过剪除一半的专家网络实现了显著的存储优化，同时保持了高效的推理能力，适用于资源受限环境中的AI应用。

---

技术机制剖析

DeepSeek-V4.1-Flash-1017是一款稀疏混合专家模型，每层包含384个路由专家，每个token激活6个专家，总参数763.2B，其中551.9B参数位于Transformer模块中。该模型的Coder版本通过以下技术实现了高效压缩：

• GSQ（Gumbel-Softmax Quantization）：一种后训练标量量化技术，通过联合学习网格分配和组尺度，在低比特宽度下缩小标量与向量量化之间的差距，同时保持标准GGUF类型的可部署性。
• RCO（Riemannian Constrained Optimization）：通过在任务损失上执行梯度下降来强制执行精确预算，无需逐个约束调整。在此应用中，RCO选择保留哪些专家，优化与未剪除模型的KL散度，同时在每层保持一个精确的预算。

工程权衡与实测表现

• 存储优化：剪除一半专家后，模型每层保留192个专家，Transformer权重从138.2 GB降至72.1 GB。
• 量化效率：1比特/参数，280.1B参数平均为2.06比特，共享的Engram文件和视觉投影仪文件与未剪除版本相同，只需下载一次。
• 性能保持：在LiveCodeBench v6上，模型得分为88.57，相较于基线模型的89.71，保留了98.7%的性能；在SWE-bench Verified上，得分为77.00，相较于基线模型的81.20，保留了94.8%的性能。

开发者落地与部署建议

• 适用场景：该模型适用于需要高效推理和低存储需求的AI应用，如边缘计算设备或资源受限的环境。
• 部署建议：GGUF文件可在llama.cpp b11870或更新版本以及Strata中运行。
• 反馈与改进：由于该版本为实验性发布，ISTA欢迎开发者提供反馈，特别是关于未在量化过程中充分体现的能力。此外，ISTA也接受对其他模型进行量化和剪除的请求。

结论

DeepSeek-V4.1-Flash-1017-GSQ-RCO Coder通过创新的量化和剪除技术，在保持高性能的同时实现了显著的存储优化，为AI模型的广泛应用提供了新的可能性。

---

消息来源：Reddit r/LocalLLaMA (2026-11-02)

—— 完 ——

主题标签： #DeepSeek 关注 #量化模型 关注 #稀疏专家模型 关注 #GSQ 关注 #RCO 关注