智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #LiquidAI #推理优化 #MoE架构 #设备端推理 #多语言模型

LiquidAI发布LFM2.5-24B-A2B:支持设备端高效推理的推理优化模型

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间:

中文阅读 (Chinese) English Version

摘要:LiquidAI推出了LFM2.5-24B-A2B模型,这是一款专为设备端高效推理设计的24B参数推理模型。该模型采用混合专家(MoE)架构,仅激活2B参数,实现了推理速度与效率的显著提升。其在LiveClaw基准测试中表现优异,与拥有更多参数的Qwen3.6-35B-A3B模型相比毫不逊色。此外,LFM2.5-24B-A2B支持多语言处理,并针对资源受限设备优化了推理性能,为智能体应用提供了更灵活、更高效的解决方案。


技术机制剖析

LiquidAI推出的LFM2.5-24B-A2B模型采用混合专家(MoE)架构,通过动态路由机制,仅激活每个token的2B参数,从而大幅降低推理时的计算开销。这种设计不仅提升了推理速度,还显著减少了内存占用,使其在资源受限的设备上也能高效运行。

工程权衡与实测表现

  • 推理效率:在Apple M5 Max设备上,LFM2.5-24B-A2B的推理速度达到184 tokens/s,而在单块NVIDIA B300 GPU上,其输出速度可达到21K tokens/s,显著优于传统MoE模型。
  • 参数效率:尽管总参数为24B,但激活参数仅为2.45B,这使得模型在保持高性能的同时,降低了计算成本。
  • 多语言支持:该模型支持包括英语、中文、阿拉伯语等15种语言,展示了其在多语言处理方面的能力。

然而,MoE架构也带来了路由复杂度和专家选择延迟的挑战。尽管LFM2.5-24B-A2B通过优化路由算法缓解了部分问题,但在极端情况下,路由延迟仍可能影响整体性能。

开发者落地与部署建议

对于开发者而言,LFM2.5-24B-A2B适用于需要高效推理和低延迟的应用场景,如智能体、实时对话系统等。建议在部署时,结合硬件加速器(如GPU或专用AI芯片)以充分发挥其性能优势。此外,考虑到多语言支持,开发者可以利用其多语言特性构建跨语言应用,但需注意不同语言的推理性能可能存在差异。

总结

LFM2.5-24B-A2B展示了LiquidAI在推理优化和模型效率方面的技术实力。其在保持高性能的同时,显著降低了计算成本,为智能体应用提供了新的可能性。


消息来源:Reddit r/LocalLLaMA (2026-10-13)

—— 完 ——

主题标签: #LiquidAI #推理优化 #MoE架构 #设备端推理 #多语言模型

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

社区整体评论区

正在加载实时智能评论与划词标注…