DeepSeek发布Strata v4.1补丁：优化大模型离线推理效率

摘要：DeepSeek团队通过优化Strata引擎，显著提升了DeepSeek V4.1在标准游戏GPU上的离线推理性能。通过KV splice和Resident-only routing两项技术改进，模型在1M上下文长度下的推理速度提升20倍，同时大幅减少了对数据中心的依赖。

---

技术机制剖析

DeepSeek V4.1通过Strata引擎实现了高效的离线推理，其核心机制包括：

1. KV splice（键值拼接）：

   • 传统方法在每次新会话时都会重新读取完整的系统提示（prompt），导致大量重复计算。
   • KV splice通过缓存已读取的键值对，并仅更新变化的部分，从而减少重复读取和计算。
   • 该方法通过移动缓存行、旋转窗口环并记录RoPE间隙，确保模型只处理变化的部分，而不会看到片段化的文本。

2. Resident-only routing（仅驻留路由）：

   • 在提示读取阶段，模型会优先选择已驻留在VRAM或RAM中的专家，而避免从SSD流式传输整个模型。
   • 这项改进利用了本地DRAM的高效性，在提示读取阶段显著减少了数据传输量。

工程权衡与实测表现

• 优势：

  • 速度提升：在1M上下文长度下，推理速度提升20倍，从100秒缩短至约5秒。
  • 硬件友好：无需数据中心级硬件，仅需标准游戏GPU即可实现高效推理。
  • 资源优化：通过减少对SSD的依赖，降低了存储带宽需求。

• 局限性：

  • 硬件依赖：目前仅支持HIP（gfx1201）架构，尚未支持CUDA、SYCL或Metal。
  • 近似计算：KV splice的拼接是近似的，删除文本后的计算可能引入轻微误差。
  • 答案一致性：Resident-only routing可能会导致在提示读取阶段替换专家，从而略微改变输出结果。

开发者落地与部署建议

• 硬件要求：建议使用支持HIP的GPU（如AMD Radeon RX 9070 XT）。
• 构建与运行：
  • 克隆Strata仓库并切换到dsv41-kv-splice分支。
  • 使用HIP构建工具进行编译，并启用STRATA_ENABLE_HIP选项。
  • 运行Strata时，启用STRATA_DS4_REORDER和STRATA_DS4_PROMPT_RESIDENT选项以启用优化。
• 注意事项：
  • 对于使用OpenCode的用户，建议在模型配置中添加'interleaved'字段以避免缓存未命中问题。
  • 如需在CUDA等其他架构上测试，建议在GitHub上提供反馈以帮助改进。

总结

DeepSeek通过Strata v4.1的发布，展示了在资源受限环境下实现高效大模型推理的潜力。该补丁不仅提升了推理速度，还为AI开发者提供了更灵活的部署选择，尤其适合对成本和硬件资源敏感的应用场景。

---

消息来源：Reddit r/LocalLLaMA (2026-11-02)

—— 完 ——

主题标签： #DeepSeek 关注 #Strata 关注 #大模型推理 关注 #离线推理 关注 #GPU优化 关注