智客 ZICQ
EN 登录 / 注册
智客信息 开源AI #轻量级模型 #开源模型 #记忆机制 #OLMo #AI研究

开源社区发布Engram-2B:轻量级大语言模型与创新记忆机制结合

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 9 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Reddit用户NineThreeTilNow发布了一款名为Engram-2B的轻量级大语言模型。该模型基于OLMo tokenizer,参数规模为2B,并引入了创新的Engram记忆机制,显著提升了模型在有限数据下的表现。开发者通过优化模型深度和嵌入表示,展示了在仅使用1500万token训练数据的情况下,模型展现出的高度连贯性。这一项目强调开源精神,旨在为AI社区提供一种高效、低成本的模型解决方案。


轻量级大语言模型的创新尝试

Reddit用户NineThreeTilNow近日发布了一款名为Engram-2B的轻量级大语言模型。该模型基于OLMo tokenizer,参数规模为2B,并引入了创新的Engram记忆机制。开发者通过以下方式实现了模型的优化:

  • 模型架构调整:将d_model从5000缩减至2048,以适应更小的模型规模。
  • Engram记忆机制:通过1/2/3-gram强制构建1B大小的Engram表,占据模型总规模的50%,显著提升了模型在有限数据下的表现。
  • 训练数据处理:使用标准Wiki风格数据源,并通过7B OLMo模型生成概率分布,指导模型学习。

技术亮点

  1. 高效的训练策略:在仅使用1500万token训练数据的情况下,模型展现出高度连贯性,避免了传统小规模模型常见的重复问题。
  2. 嵌入表示优化:通过借用大模型的嵌入并将其降维至2048维,保留了约65%的原始数据信息。
  3. 注意力机制创新:利用Moonshot Kimi K3风格的注意力机制,在密集模型中实现了基于注意力的残差流处理。

行业影响与开发者建议

  • 开源精神:该模型采用Apache 2.0许可协议,鼓励开发者自由使用和修改,为AI社区提供了新的工具选择。
  • 资源友好:模型在24GB VRAM的硬件上可完全训练,降低了AI研究的硬件门槛。
  • 未来展望:开发者计划继续处理HuggingFace的Wikipedia数据,并逐步开源训练代码、模型和数据,为AI研究提供更多支持。

结论

Engram-2B的发布展示了轻量级大语言模型在资源受限环境中的潜力,并为AI社区提供了一种高效、低成本的模型解决方案。其创新性的记忆机制和训练策略为AI研究开辟了新的方向。


消息来源:Reddit r/LocalLLaMA (2026-09-17)

—— 完 ——

主题标签: #轻量级模型 #开源模型 #记忆机制 #OLMo #AI研究

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…