智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #AI集群 #RTX 6000 #隐私保护 #AI硬件 #AI助手

Reddit用户自建AI计算集群:从3090到RTX 6000 Pro Max Q的四年演进与挑战

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Reddit用户Tourus分享了其四年来自建AI计算集群的历程,从最初的游戏GPU扩展到包含4块RTX 6000 Pro Max Q和4块RTX 3090的本地AI集群。该集群旨在实现数据隐私保护、离线运行以及满足学习与开发需求。Tourus详细介绍了硬件升级过程、遇到的挑战(如PCIe连接问题、电源配置失误导致火灾风险),以及实际应用场景,包括加速创业项目开发、部署个性化AI助手以及构建AI驱动的媒体与语音系统。


硬件演进与挑战

Tourus的AI集群经历了从游戏GPU到专业AI硬件的逐步升级:

  • 2023年9月:首次为游戏GPU添加第二块3090以运行原始的Llama 1和2模型。
  • 2023年12月:增加第三块3090,但意识到这仍不足以运行当时对工作流有用的Goliath 120B模型。
  • 2024年1月:决定升级为专用的AI服务器,采用WOPR概念设计,配备64核AMD Epyc 7003工程样品CPU、512 GB DDR4内存和7个PCIe插槽。
  • 2024年8月:成功运行两台独立的4x 3090机器,但模型性能仍不及SOTA。
  • 2025年9月至2026年1月:逐步购入4块RTX 6000 Pro Max Q显卡。
  • 2026年1月至今:集群稳定运行,4块RTX 6000 Max Q(每块300W)和4块RTX 3090(限制为150W)表现出色。

硬件升级过程中,Tourus遇到了诸多挑战:

  • PCIe连接问题:GPU频繁掉线,吞吐量低,原因是劣质PCIe线缆和电源供应器。
  • 电源配置失误:曾尝试将9块3090连接到一个系统,导致断路器跳闸并烧毁add2psu板。

应用场景

Tourus的AI集群主要用于以下场景:

  1. 创业项目开发:加速业务发展,避免本地/开发密钥泄露到云端。
  2. 个性化AI助手:基于unmute.sh项目,添加了日历、邮件、记忆和Obsidian集成等功能,显著降低了日常认知负担。
  3. AI构建AI:使用GLM 5.2构建了一个自改进的AI预测系统,用于产品开发。
  4. 媒体与语音:利用ComfyUI生成图像和视频,并使用GLM 5.2构建了语音到语音的语言导师。

未来计划

Tourus计划:

  • 探索递归自发展系统。
  • 等待价格下降后购买更高VRAM的显卡。
  • 完成一个4x 3090的副机架,用于卸载语音/图像/视频处理和托管较小的快速模型。
  • 开展其他有趣项目,如通过摄像头进行家庭AI监控,以及为女儿建造的Raspi机器人添加AI功能。

行业启示

Tourus的经历展示了AI硬件的快速发展以及个人用户对高性能计算的需求。同时,也揭示了硬件升级过程中常见的挑战,如电源管理和PCIe连接问题,为AI硬件爱好者提供了宝贵的参考。


消息来源:Reddit r/LocalLLaMA (2026-08-08)

—— 完 ——

主题标签: #AI集群 #RTX 6000 #隐私保护 #AI硬件 #AI助手

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…