Reddit用户自建AI计算集群:从3090到RTX 6000 Pro Max Q的四年演进与挑战
摘要:Reddit用户Tourus分享了其四年来自建AI计算集群的历程,从最初的游戏GPU扩展到包含4块RTX 6000 Pro Max Q和4块RTX 3090的本地AI集群。该集群旨在实现数据隐私保护、离线运行以及满足学习与开发需求。Tourus详细介绍了硬件升级过程、遇到的挑战(如PCIe连接问题、电源配置失误导致火灾风险),以及实际应用场景,包括加速创业项目开发、部署个性化AI助手以及构建AI驱动的媒体与语音系统。
硬件演进与挑战
Tourus的AI集群经历了从游戏GPU到专业AI硬件的逐步升级:
- 2023年9月:首次为游戏GPU添加第二块3090以运行原始的Llama 1和2模型。
- 2023年12月:增加第三块3090,但意识到这仍不足以运行当时对工作流有用的Goliath 120B模型。
- 2024年1月:决定升级为专用的AI服务器,采用WOPR概念设计,配备64核AMD Epyc 7003工程样品CPU、512 GB DDR4内存和7个PCIe插槽。
- 2024年8月:成功运行两台独立的4x 3090机器,但模型性能仍不及SOTA。
- 2025年9月至2026年1月:逐步购入4块RTX 6000 Pro Max Q显卡。
- 2026年1月至今:集群稳定运行,4块RTX 6000 Max Q(每块300W)和4块RTX 3090(限制为150W)表现出色。
硬件升级过程中,Tourus遇到了诸多挑战:
- PCIe连接问题:GPU频繁掉线,吞吐量低,原因是劣质PCIe线缆和电源供应器。
- 电源配置失误:曾尝试将9块3090连接到一个系统,导致断路器跳闸并烧毁add2psu板。
应用场景
Tourus的AI集群主要用于以下场景:
- 创业项目开发:加速业务发展,避免本地/开发密钥泄露到云端。
- 个性化AI助手:基于unmute.sh项目,添加了日历、邮件、记忆和Obsidian集成等功能,显著降低了日常认知负担。
- AI构建AI:使用GLM 5.2构建了一个自改进的AI预测系统,用于产品开发。
- 媒体与语音:利用ComfyUI生成图像和视频,并使用GLM 5.2构建了语音到语音的语言导师。
未来计划
Tourus计划:
- 探索递归自发展系统。
- 等待价格下降后购买更高VRAM的显卡。
- 完成一个4x 3090的副机架,用于卸载语音/图像/视频处理和托管较小的快速模型。
- 开展其他有趣项目,如通过摄像头进行家庭AI监控,以及为女儿建造的Raspi机器人添加AI功能。
行业启示
Tourus的经历展示了AI硬件的快速发展以及个人用户对高性能计算的需求。同时,也揭示了硬件升级过程中常见的挑战,如电源管理和PCIe连接问题,为AI硬件爱好者提供了宝贵的参考。
—— 完 ——消息来源:Reddit r/LocalLLaMA (2026-08-08)
主题标签: #AI集群 #RTX 6000 #隐私保护 #AI硬件 #AI助手
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区