Poor Lab发布Puro-2B:低成本高效训练的开源语言模型
摘要:Poor Lab推出了一种名为Puro-2B的开源语言模型训练方案,旨在降低预训练成本,使其对学术界和开源社区更加友好。该方案利用消费级RTX 5090 GPU,在1.4万亿个token上以FP8精度训练模型,训练成本不到$6,900,接近Qwen2.5-1.5B的性能。方案结合了硬件优化、低精度训练、超球优化和课程模型平均等方法,并发布了完整的训练流程、数据集和模型权重。
核心突破
Poor Lab发布了一种名为Puro-2B的开源语言模型训练方案,旨在解决预训练成本高昂的问题,使其对学术界和开源社区更加友好。该方案的主要特点包括:
- 低成本高效训练:利用消费级RTX 5090 GPU,在1.4万亿个token上以FP8精度训练模型,训练成本不到$6,900。
- 接近顶尖性能:在Poor Lab的评估协议下,Puro-2B的性能接近Qwen2.5-1.5B。
- 创新训练方法:结合硬件选择、低精度训练、超球优化、课程模型平均和数据处理方法。
技术亮点
- Puro成本扩展定律:Poor Lab推导了Puro成本扩展定律,揭示了训练成本与平均模型性能之间的关系。该定律表明,约$4,400的训练成本足以达到Qwen2-1.5B的性能。
- 数据课程研究:作为端到端案例研究,Poor Lab研究了预训练数据课程如何影响下游任务的性能。这种研究得益于完整的预训练流程,而不仅仅是模型权重。
- 开源发布:Puro-2B的训练方案,包括数据、代码和模型权重,已在Apache 2.0许可下发布,地址为https://huggingface.co/collections/thu-pacman/puro-2b。
行业影响
Puro-2B的发布为资源受限的学术机构和开源社区提供了一个可行的解决方案,降低了语言模型预训练的成本门槛。这一方案不仅展示了在有限预算下实现高性能模型训练的可能性,还为AI研究提供了新的思路和方法。
开发者建议
- 尝试Puro-2B:对于资源有限的开发者,可以尝试使用Puro-2B的训练方案,以较低的成本训练高性能的语言模型。
- 优化训练流程:借鉴Poor Lab的训练方法,结合硬件优化和低精度训练,提升训练效率。
- 参与开源社区:通过参与开源社区,分享和获取更多关于低成本训练的经验和资源。
—— 完 ——消息来源:ArXiv cs.LG (2026-08-27)
主题标签: #Poor Lab #Puro-2B #开源模型 #低成本训练 #RTX 5090
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区