跳到主内容
智客 ZICQ

智客百科 模型与产品

DeepSeek

模型与产品
别名: DeepSeek V3 DeepSeek R1 ·2026-10-10

DeepSeek

DeepSeek(杭州深度求索)是中国开源 AI 实验室与科技公司发布的通用大语言模型系列。 2024 至 2025 年间,DeepSeek 凭借 DeepSeek-V3 与 DeepSeek-R1 震动全球技术界—— 以百万美元级的极低训练预算,训练出在多项学术与推理基准上直接比肩甚至超越 GPT-4o、Claude 3.5 Sonnet 与 OpenAI o1 的顶级前沿模型。

关键模型与产品矩阵

  • DeepSeek-V3:基础大语言模型,总参数量 671B,每个 Token 激活 37B,在知识问答、编程与多语言理解中处于开源绝对第一梯队。
  • DeepSeek-R1:通过大规模强化学习训练的推理模型(Reasoning Model),在复杂数学(AIME / MATH-500)与竞赛代码中表现卓越。
  • DeepSeek-R1-Distill 系列:将 R1 的长思维链推理能力蒸馏至 1.5B ~ 70B 尺寸(基于 Qwen 和 Llama 底座),大幅降低端侧和轻量级服务器的部署门槛。

核心架构创新

1. 多头潜变量注意力(MLA, Multi-Head Latent Attention)

传统多头注意力(MHA)或分组查询注意力(GQA)在长序列生成时需要为每个上下文位置缓存键(Key)和值(Value)的高维张量,造成庞大的 KV Cache 显存负担。

MLA 创造性地通过低秩联合压缩技术:

  • 将 Key 和 Value 投影压缩为一个紧凑的低维潜变量向量(Latent Vector cKVt);
  • 推理时 GPU 显存中仅需缓存该压缩潜变量;
  • 计算注意力时,将潜变量通过解耦矩阵动态升维投影,结合解耦的 RoPE 位置分量完成点积。

工程收益:MLA 将单 Token 的 KV Cache 显存占用压缩至原始 MHA 的约 1/6,甚至远低于 8:1 的 GQA,使得单台 8 卡服务器即可承载超长上下文的高吞吐并发服务。

2. 细粒度专家路由(DeepSeekMoE)

相较于传统每次激活少数大专家(如 Mixtral 8x7B)的 MoE 架构,DeepSeek 采用更细粒度的专家切分:

  • 将专家拆解为更小的单位(例如 64 个路由专家),每个 Token 激活 8 个;
  • 同时设置专门的固定共享专家(Shared Experts),始终处于激活状态以捕捉共性先验知识。 细粒度切分显著提升了路由灵活性与参数利用效率,有效缓解了专家负载不均的问题。

3. 多 Token 预测(Multi-Token Prediction, MTP)

在模型顶层串联额外的轻量级预测头,在前向传播中同时预测接下来的第 2、第 3 个 Token:

  • 在训练阶段为底层网络提供更丰富稠密的反向传播监督信号;
  • 在推理阶段 MTP 模块可直接作为原生的投机解码(Speculative Decoding)验证器,实现免额外模型的无损推理解码加速。

训练基础设施与底层通信突破

DeepSeek 的低成本并非源于缩减算力规模,而是源于极其严密的系统工程协同优化:

  • DualPipe 双向流水线并行:传统流水线并行(Pipeline Parallelism)在 MoE 跨节点专家分发(All-to-All 通信)时存在高昂的通信等待气泡。DualPipe 将前向计算和后向梯度回传细粒度交错重排,隐藏跨节点跨机通信延迟,将 GPU Bubble 降低至近乎为零。
  • 自研 DeepEP 通信库:针对 NVLink 节点内拓扑与 InfiniBand / RoCE 跨机 RDMA 优化了专用的 MoE 集合通信算子。
  • 大规模全流程 FP8 混合精度训练:在行业内率先将 FP8 浮点数全面应用于万卡集群的大规模预训练中,通过细粒度分块缩放(128 元素 Chunk)与延迟缩放因子更新,在保证数值精度的同时实现计算通量与显存带宽的大幅翻倍。

R1 的强化学习范式与影响

在 DeepSeek-R1 的研发中,团队验证了纯强化学习自发涌现推理能力的路径(DeepSeek-R1-Zero): 仅给予数学与代码逻辑的规则奖励函数(RLVR),不提供任何人工思维链标注,模型在数千步强化学习迭代后自发学会了反思(Aha moment)、重新验证、回溯试错等复杂推理行为。随后通过引入少量冷启动提示与多阶段拒绝采样,最终训练出对齐良好、语言通顺的正式版 R1。

进一步阅读