DeepSeek-V4.1-Flash发布：多GPU优化实现高效大模型推理

摘要：DeepSeek团队发布了DeepSeek-V4.1-Flash版本，通过多GPU优化实现了高效的大模型推理性能。该版本在2个DGX Spark服务器上实现了每秒322个token的JSON输出和每秒192个token的代码生成能力，同时通过引入Engram表和DSpark推测草稿机制，进一步优化了内存使用和推理速度。实验数据显示，DeepSeek-V4.1-Flash在长上下文处理和特定任务上表现优异，尤其在代码和结构化数据处理方面具有显著优势。

---

技术架构与核心机制

DeepSeek-V4.1-Flash基于EXL3架构，采用2.75 bits-per-weight (bpw) 量化策略，通过vLLM tensor并行技术在2个DGX Spark服务器上实现高效推理。其主要特点包括：

1. 多GPU优化：通过vLLM的tensor并行机制，DeepSeek-V4.1-Flash充分利用了多GPU的计算资源，将推理任务高效分配到多个GPU上，显著提升了整体吞吐量。

2. 内存管理与KV缓存：在多GPU环境下，DeepSeek-V4.1-Flash通过优化内存分配，将释放的内存用于KV缓存，提供了约1.93M tokens的缓存池。此外，NVMe上的前缀缓存确保了服务器重启后150K提示的快速恢复。

3. Engram表与RDMA：引入第三个EPYC服务器，通过系统RAM存储Engram表并通过RDMA进行传输，进一步加速了数据访问速度。

4. DSpark推测草稿机制：在NVLinked的3090 GPU上运行DSpark推测草稿机制，提升了推理的并行性和效率。

工程权衡与实测表现

DeepSeek-V4.1-Flash在多个基准测试中表现出色，尤其是在处理长上下文和结构化数据方面：

• 结构化输出（JSON）：单流138 tok/s，4流总计322 tok/s。
• 代码生成：单流110 tok/s，4流总计192 tok/s。
• 散文生成（无思考）：单流66 tok/s，4流总计130 tok/s。
• 散文生成（有思考）：单流56 tok/s，4流总计105 tok/s。

在预填充速度方面，DeepSeek-V4.1-Flash在4K到256K的提示长度下均表现出色，超过了MiaAI和bertholomus的发布。然而，在处理纯散文时，DeepSeek-V4.1-Flash的单流速度略低于MiaAI（66 tok/s vs 80.7 tok/s），并且在长提示后的解码速度上也稍逊于bertholomus（62 tok/s vs 99 tok/s）。

开发者落地与部署建议

DeepSeek-V4.1-Flash的发布为开发者提供了以下优势：

1. 高效的长上下文处理：对于需要处理长文本或复杂结构化数据的应用，DeepSeek-V4.1-Flash提供了显著的性能提升。

2. 多GPU支持：通过多GPU优化，开发者可以在资源充足的环境中实现更高的推理速度。

3. 开源代码与工具：DeepSeek-V4.1-Flash的代码、启动脚本、基准测试工具和原始数据均已公开，开发者可以自由使用和修改。

4. 性能调优建议：对于需要更高散文处理速度的应用，建议结合其他优化技术，如混合精度训练或模型剪枝，以进一步提升性能。

总结

DeepSeek-V4.1-Flash通过多GPU优化和内存管理机制，实现了高效的大模型推理，尤其在处理长上下文和结构化数据方面表现出色。尽管在某些特定任务上仍有改进空间，但其整体性能和多GPU支持使其成为AI开发者值得关注的工具。

---

消息来源：Reddit r/LocalLLaMA (2026-10-31)

—— 完 ——

主题标签： #DeepSeek 关注 #大模型 关注 #多GPU优化 关注 #高效推理 关注