从1张RTX 3090到20台DGX Sparks：个人AI硬件升级之路

摘要：Reddit用户Ciprianveg分享了他从单张RTX 3090显卡起步，逐步扩展至20台DGX Sparks集群的AI硬件升级历程。他从运行LLaMA、Qwen等开源模型开始，逐步升级硬件以应对更大规模模型的需求，最终实现了在本地运行如Kimi K3（2.8T参数）等前沿大模型的能力。这一过程不仅展示了个体用户对AI硬件的极致追求，还反映了开源AI模型在本地化部署中的潜力与挑战。

---

从单卡到集群：个人AI硬件的极致追求

Reddit用户Ciprianveg分享了他在AI硬件上的持续升级历程，从最初的单张RTX 3090显卡起步，逐步扩展至一个由20台DGX Sparks组成的集群。以下是他的关键升级节点：

1. 初始阶段：从LLaMA 33B到LLaMA 65B，Ciprianveg最初使用RTX 3090运行这些模型，并将其备份至Synology NAS RAID以防数据丢失。

2. 硬件升级：随着DeepSeek 671B MoE的出现，他升级至配备512GB DDR4的Threadripper处理器，并开始运行Qwen 235B模型。

3. 集群构建：为了应对更复杂的任务，他构建了一个由16张RTX 3090组成的集群，并通过100Gbit网络连接。这一配置能够运行MiniMax M2、Qwen 235B和Qwen 397B等模型。

4. 进一步扩展：为了解决家庭电路负载问题，他转向使用4台ASUS GB10，并最终扩展至8台GB10，实现了在FP8精度下运行Qwen 397B模型，速度提升20%。

5. 多模型支持：Ciprianveg的硬件配置支持多种开源模型，包括MiMo 2.5 Pro、Kimi 2.6和Kimi K3（2.8T参数）。他还在NVIDIA论坛上发布了关于在8节点和16节点集群上运行这些模型的首个解决方案。

6. 未来计划：他计划进一步扩展硬件配置，以实现对GLM 5.3 Flash等更高效模型的持续运行，同时保持对更大规模模型的支持。

技术亮点与挑战

• 硬件挑战：从单卡到集群，Ciprianveg面临了电路负载、散热和稳定性等多重挑战。他通过硬件升级和优化配置，成功解决了这些问题。

• 模型性能：在本地运行如此大规模模型需要极高的硬件配置，Ciprianveg的硬件升级展示了个人用户对AI计算能力的极致追求。

• 开源模型的优势：Ciprianveg选择完全依赖开源模型而非商业API，体现了对开源AI的信心，也展示了开源模型在本地化部署中的潜力。

行业影响与建议

• 硬件成本与可及性：尽管Ciprianveg的硬件配置昂贵，但他的经验为AI爱好者提供了宝贵的参考。随着硬件成本的下降和开源模型的进步，类似的配置将变得更加可及。

• 开源AI的潜力：Ciprianveg的经历表明，开源AI模型在本地化部署中具有巨大潜力，能够为用户提供更高的隐私和安全性。

• 开发者建议：对于希望构建类似系统的开发者，建议从小型集群开始，逐步扩展，并密切关注硬件兼容性和散热问题。

---

消息来源：Reddit r/LocalLLaMA (2026-10-04)

—— 完 ——

主题标签： #Local AI #Hardware Scaling #Open-Source Models #AI Infrastructure #DeepSeek