智客 ZICQ
EN 登录 / 注册
智客前沿 开源AI #个人开发者 #开源模型 #大语言模型 #LoRA #Gemmeh

个人开发者开源1.1亿参数开源大模型Gemmeh:训练成本仅200美元

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:一位开发者分享了其从头训练1.1亿参数大语言模型(LLM)Gemmeh的全过程。该模型基于Gemma3架构,使用20B tokens进行预训练,并采用LoRA技术进行微调,最终成本约200美元。开发者开源了模型权重、代码以及一个基于该模型的演示网站,为个人开发者提供了低成本构建和理解大模型的实践案例。


个人开发者开源1.1亿参数大模型Gemmeh

项目背景

一位Reddit用户@SevereTilt在LocalLLaMA社区分享了其个人项目——从头训练一个1.1亿参数的大语言模型(LLM)Gemmeh。该项目的主要目标是学习大模型的构建流程,并提升个人在机器学习领域的技能水平。

技术细节

  • 架构选择:Gemmeh基于Gemma3架构,但针对具体需求进行了调整,例如上下文长度缩减至4096 tokens,并采用SentencePiece训练了32k词汇量的分词器。
  • 训练数据:预训练阶段使用了fineweb-edu数据集,微调阶段则采用OpenHermes数据集,并通过LoRA技术进行高效微调。
  • 训练过程:
    • 预训练:在vast.ai平台上进行,使用3090和H100 GPU,训练了20B tokens,最终模型在验证集上的困惑度为10.93。
    • 微调:使用3060 GPU进行LoRA微调,训练时长52小时,验证集困惑度为2.71。
  • 模型表现:尽管模型在某些任务上表现良好,但与商业化模型相比仍有差距。例如,在诗歌生成任务中,模型从初始的简单词汇逐渐进化到更复杂的表达。

开源成果

开发者开源了以下内容:

项目意义

  1. 低成本实践案例:该项目展示了个人开发者如何以较低成本构建和训练大模型,为AI领域的教育与研究提供了有价值的参考。
  2. 开源贡献:通过开源模型权重和代码,开发者促进了AI技术的普及和社区协作。
  3. 技术探索:项目过程中,开发者尝试了多种技术方案,例如在WearOS设备上运行模型,并使用lm-eval进行基准测试,为AI应用的多样化提供了新思路。

开发者建议

对于希望复现或改进该项目的开发者,建议关注以下几点:

  • 数据质量:选择高质量的训练数据对模型性能至关重要。
  • 训练资源:合理规划训练资源,避免不必要的计算成本。
  • 模型评估:在更多任务和数据集上进行评估,以全面了解模型的能力与局限。

结论

尽管Gemmeh模型在性能上无法与顶尖商业模型媲美,但其开源性质和低成本特性使其成为学习和探索大模型的有力工具。开发者通过该项目不仅提升了个人的技术能力,也为AI社区贡献了宝贵的经验与资源。

—— 完 ——

主题标签: #个人开发者 #开源模型 #大语言模型 #LoRA #Gemmeh

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…