个人开发者开源1.1亿参数开源大模型Gemmeh:训练成本仅200美元
摘要:一位开发者分享了其从头训练1.1亿参数大语言模型(LLM)Gemmeh的全过程。该模型基于Gemma3架构,使用20B tokens进行预训练,并采用LoRA技术进行微调,最终成本约200美元。开发者开源了模型权重、代码以及一个基于该模型的演示网站,为个人开发者提供了低成本构建和理解大模型的实践案例。
个人开发者开源1.1亿参数大模型Gemmeh
项目背景
一位Reddit用户@SevereTilt在LocalLLaMA社区分享了其个人项目——从头训练一个1.1亿参数的大语言模型(LLM)Gemmeh。该项目的主要目标是学习大模型的构建流程,并提升个人在机器学习领域的技能水平。
技术细节
- 架构选择:Gemmeh基于Gemma3架构,但针对具体需求进行了调整,例如上下文长度缩减至4096 tokens,并采用SentencePiece训练了32k词汇量的分词器。
- 训练数据:预训练阶段使用了fineweb-edu数据集,微调阶段则采用OpenHermes数据集,并通过LoRA技术进行高效微调。
- 训练过程:
- 预训练:在vast.ai平台上进行,使用3090和H100 GPU,训练了20B tokens,最终模型在验证集上的困惑度为10.93。
- 微调:使用3060 GPU进行LoRA微调,训练时长52小时,验证集困惑度为2.71。
- 模型表现:尽管模型在某些任务上表现良好,但与商业化模型相比仍有差距。例如,在诗歌生成任务中,模型从初始的简单词汇逐渐进化到更复杂的表达。
开源成果
开发者开源了以下内容:
- 代码仓库:Gemmeh GitHub仓库
- 模型权重:Hugging Face模型页面
- 演示网站:Gemmeh Demo
项目意义
- 低成本实践案例:该项目展示了个人开发者如何以较低成本构建和训练大模型,为AI领域的教育与研究提供了有价值的参考。
- 开源贡献:通过开源模型权重和代码,开发者促进了AI技术的普及和社区协作。
- 技术探索:项目过程中,开发者尝试了多种技术方案,例如在WearOS设备上运行模型,并使用lm-eval进行基准测试,为AI应用的多样化提供了新思路。
开发者建议
对于希望复现或改进该项目的开发者,建议关注以下几点:
- 数据质量:选择高质量的训练数据对模型性能至关重要。
- 训练资源:合理规划训练资源,避免不必要的计算成本。
- 模型评估:在更多任务和数据集上进行评估,以全面了解模型的能力与局限。
结论
尽管Gemmeh模型在性能上无法与顶尖商业模型媲美,但其开源性质和低成本特性使其成为学习和探索大模型的有力工具。开发者通过该项目不仅提升了个人的技术能力,也为AI社区贡献了宝贵的经验与资源。
—— 完 ——主题标签: #个人开发者 #开源模型 #大语言模型 #LoRA #Gemmeh
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区