DeepX发布LPDDR5X PIM芯片，宣称百亿参数推理低于5瓦

摘要：DeepX公布第二代芯片项目，采用LPDDR5X与存内计算架构，在5瓦以下功耗下运行最高达1000亿参数规模的大模型推理。其核心思路是把乘加运算下沉至内存附近，减少权重搬运和外部总线能耗，同时利用动态模型压缩适配不同容量档位。厂商宣称相对前代产品可获得6.7倍性能提升，但现有采集资料未提供芯片规格、吞吐、时延、精度损失、内存容量及完整评测条件，尚不足以验证端到端能效优势。

---

核心发布

DeepX公布第二代芯片项目，将LPDDR5X存内计算（PIM）用于大模型推理，目标是在低于5瓦的功耗下承载最高1000亿参数规模模型。按标题中的对比口径，新项目相对上一代可实现最高6.7倍性能提升。

这不是单纯把计算单元与LPDDR5X封装在同一颗芯片上。传统推理架构通常需要在片外DRAM、内存控制器和加速器之间反复搬运权重；对于自回归解码，每生成一个Token都会触发大量低带宽、高延迟的权重访问。PIM试图把乘加阵列放进或靠近存储阵列，让部分运算在权重驻留的位置直接完成，从根本上削减数据移动功耗。

存内计算如何降低推理能耗

大模型推理的能耗可以粗略分为两部分：

[ P_{total} \approx P_{compute} + P_{memory} + P_{interconnect} ]

传统加速器中，(\alpha)权重字节数、内存带宽 (BW) 和搬运能耗共同决定主要开销。每轮解码都需要访问模型权重，实际有效带宽常远低于峰值带宽，因为计算阵列在等待数据。结果是芯片在搬权重，而非持续进行有效计算。

PIM的计算路径更接近：

[ P_{PIM} \approx P_{MAC-array} + P_{local-access} + P_{controller} ]

存储阵列附近的计算单元可以直接消费本地权重行，缩短数据路径，并减少长距离全局互连切换。其理论优势主要来自两点：减少权重搬运，以及提高单位功耗下的有效MAC吞吐。

但PIM并不天然消除瓶颈。计算阵列密度通常低于逻辑工艺，模拟PIM还可能受ADC、DAC、噪声与器件漂移影响。对于现代大模型，权重即使采用4-bit量化，1000亿参数仍需约50GB原始权重空间；若使用更高精度或保留部分FP16/BF16层，容量需求会继续上升。因此，“支持1000亿参数”并不等于可在5瓦下以实用速度运行完整的1000亿参数模型，必须结合有效权重位数、稀疏率和模型压缩口径判断。

动态模型压缩的关键作用

DeepX的第二代方案还涉及动态模型压缩，用于在有限片上或封装内存储容量下适配不同模型。其意义在于把静态、单一精度的权重存储改为按层或按运行时需求调整表示。

可能的工程路径包括混合精度、激活感知量化、稀疏化以及按层敏感度分配比特宽度。理想情况下，低敏感层使用更激进压缩，敏感层保留更高精度，从而降低容量与带宽需求。不过，这类方法的主要风险不是平均位宽，而是任务质量：

• 量化误差会在深层网络中累积，并可能集中影响注意力分布与输出路由；
• 稀疏权重若不能形成结构化模式，算术单元和片上缓存利用率会下降；
• 动态压缩会增加运行时元数据、分支逻辑和控制复杂度；
• “参数可装入”不等于“Token生成吞吐可接受”，仍需同时报告首Token延迟与稳态解码速度。

“6.7倍性能提升”应如何审阅

在缺少原始技术数据时，“性能”不能直接等同于吞吐，也不能只比较峰值TOPS。更合理的测试至少应包括固定模型、固定精度、相同批量大小和相同Token生成量，并分别报告：

1. 峰值与稳态吞吐量；
2. 首Token延迟和单Token解码延迟；
3. 实际功率及板级系统功耗；
4. 权重格式、稀疏比例与有效内存容量；
5. 精度与困惑度变化；
6. 编译器、算子覆盖和批量调度开销。

若新芯片从上一代约几十瓦级产品降至5瓦以内，同时维持可接受的吞吐量，其意义不仅是降低单设备功耗，还可能把大模型推理带入摄像头、机器人、工业终端等空间与散热受限设备。不过，厂商宣称的6.7倍增益仍需独立复现，并应区分芯片裸片、封装、主板还是完整系统的功耗边界。

落地约束与开发者建议

PIM的实际价值取决于软件栈能否把模型计算映射到存储阵列附近，而不是让编译器退化为普通连续内存访问。开发者需要重点评估：

• 主流模型算子是否获得原生PIM内核；
• 未加速算子回落到传统数字路径后，是否形成新的能耗瓶颈；
• 权重预处理、量化和运行时压缩需要多少时间；
• 模型更新能否在不重新流片的情况下完成；
• 工具链是否兼容PyTorch、ONNX Runtime、TensorRT或自有推理引擎。

对边缘AI产品，较现实的验证路径是先选取1B至3B参数的视觉或语言模型，在真实功耗计和端到端服务层测量每Token能耗；随后再扩展到30B或更大模型，并核对厂商所说的“1000亿参数”是理论容量上限，还是某个固定模型、精度和批量下的实际运行结果。

工程判断

DeepX的方案抓住了边缘大模型推理最关键的矛盾：模型规模增长快于计算能力增长，而自回归解码又由权重带宽主导。LPDDR5X PIM有望同时缓解外部访存与总线功耗，动态压缩则负责弥补存储容量约束。

但当前资料不足以证明完整产品竞争力。最关键的未知数是5瓦对应的板级还是芯片功耗、1000亿参数对应的量化格式、6.7倍提升的负载设置，以及实际生成质量。只有补齐这些口径后，才能判断它究竟是可持续的边缘推理平台，还是依赖特定模型与理想负载的宣传性峰值。

---

消息来源：Lobste.rs AI (2026-11-09)

—— 完 ——

主题标签： #DeepX 关注 #存内计算 关注 #LPDDR5X 关注 #边缘推理 关注 #模型压缩 关注