ISTA-DASLab发布DeepSeek-V4.1-Flash-1017：引入GSQ-RCO智能量化技术

摘要：ISTA-DASLab发布了DeepSeek-V4.1-Flash-1017模型，并引入了GSQ-RCO智能量化技术。该版本采用稀疏专家混合架构，拥有763.2B参数和1M-token上下文窗口，支持FP8密集权重和FP4专家路由。GSQ-RCO通过联合学习网格分配和组尺度优化量化精度，在低比特宽度下接近向量量化性能，同时保持标准GGUF类型的部署能力。实验表明，2.00 bpw版本在多个基准测试中与基础模型性能一致，展示了其在资源受限场景下的高效推理能力。

---

技术架构与核心机制

DeepSeek-V4.1-Flash-1017 采用了稀疏专家混合（MoE）架构，每层包含384个路由专家，每个token激活6个专家，总参数量达到763.2B，上下文窗口长度为1M-token。该模型使用FP8格式存储密集权重，路由专家则采用FP4格式。

GSQ（基于Gumbel-Softmax的量化）是一种后训练标量量化方法，通过联合学习网格分配和组尺度，在低比特宽度下实现了接近向量量化的性能，同时保持了标准GGUF类型的部署能力。RCO（黎曼约束优化）则通过在任务损失上的梯度下降强制执行精确的量化预算，无需逐个约束调整。它为每个主干张量分配量化类型，并针对密集路径和路由专家分别设置不同的量化阶梯。

工程权衡与实测表现

GSQ-RCO的引入旨在优化模型推理效率，在保持性能的同时降低计算资源需求。以下是主要量化版本的实测表现：

• IQ1_M (1.75 bpw, 120.7 GB 主干)：AIME25 100.00，GPQA-Diamond 88.38（对比基线90.91），LiveCodeBench v6 88.57（对比基线89.71）。任务平均得分92.32，保留98.7%的性能。
• IQ2_XXS (2.00 bpw, 138.2 GB 主干)：AIME25 100.00，GPQA-Diamond 90.91，LiveCodeBench v6 89.71，与基线模型表现一致。任务平均得分93.54，达到基线模型的100%。
• IQ2_XS (2.25 bpw, 155.2 GB 主干)：结果待发布。

开发者落地与部署建议

DeepSeek-V4.1-Flash-1017 目前仅支持在Strata框架下运行，不兼容llama.cpp。Strata提供了一键安装程序和本地OpenAI兼容端点，允许在单个12GB VRAM的NVIDIA GPU上部署所有构建版本。开发者可以访问Hugging Face平台获取量化模型文件，并参考相关论文和代码库以深入了解GSQ和RCO的实现细节。

总结

DeepSeek-V4.1-Flash-1017 结合GSQ-RCO技术，在保持高性能的同时大幅降低了资源需求，为AI模型在资源受限环境下的应用提供了新的可能性。这一发布展示了ISTA-DASLab在模型量化领域的创新实力，为AI技术的广泛应用奠定了基础。

---

消息来源：Reddit r/LocalLLaMA (2026-10-24)

—— 完 ——

主题标签： #DeepSeek 关注 #量化模型 关注 #MoE架构 关注 #GSQ 关注 #RCO 关注