OpenBMB发布MiniCPM-V 4.7：突破性MoE模型本地运行优化技术

摘要：OpenBMB推出MiniCPM-V 4.7模型，通过创新的Lookahead Expert Scheduling (LES)技术，在不缩减模型规模或跳过专家的情况下，实现了35B-A3B MoE模型在iPhone上的高效本地运行。该技术通过预测下一层所需专家并预加载权重，结合优化权重布局、混合精度量化和DSpark推测解码，显著提升了推理速度并降低了内存占用。

---

技术突破与核心机制

OpenBMB发布的MiniCPM-V 4.7模型，通过引入**Lookahead Expert Scheduling (LES)**技术，解决了在移动设备上运行大型混合专家（MoE）模型的核心瓶颈——即专家权重从闪存传输到计算单元的速度问题。LES的核心思想是预测下一层所需的专家，并在当前计算进行的同时预加载其权重，从而实现更高效的专家调度。具体技术特点包括：

• 预测与预加载机制：通过分析计算图和专家使用模式，LES能够预测下一层可能需要的专家，并在当前计算过程中提前加载其权重。
• 优化权重布局：通过重新组织权重数据存储结构，LES减少了数据传输的开销。
• 混合精度量化：采用混合精度量化技术，在保持模型精度的同时降低计算和存储需求。
• DSpark推测解码：结合DSpark推测解码技术，进一步提升了推理效率。

工程权衡与实测表现

MiniCPM-V 4.7在iPhone 18 Pro Max上的实测表现如下：

• 推理速度：达到20.51 tokens/s，比基线速度3.38 tokens/s提升了6.07倍。
• 模型精度：在五个基准测试中，模型精度仅下降了0.16个百分点。
• 内存占用：在低内存配置下，峰值内存占用约为3 GB。
• 专家权重压缩：专家权重大小减少了26.7%。

这些优化使得在移动设备上运行大型MoE模型成为可能，同时保持了较高的推理速度和模型精度。

开发者落地与部署建议

• 开源实现：MiniCPM-V 4.7的实现已开源在llama.cpp-omni，开发者可以自由下载并集成到自己的应用中。
• 适用场景：该技术特别适用于需要在移动设备上运行大型模型的场景，如移动AI助手、实时翻译和图像识别等。
• 扩展性：LES技术不仅适用于MoE模型，还可以扩展到其他需要高效专家调度的模型架构中。

未来展望

OpenBMB的这项创新为在资源受限的设备上运行大型模型开辟了新的可能性。随着移动设备计算能力的不断提升，LES技术有望在更多应用场景中发挥重要作用，推动AI技术的普及和应用。

---

消息来源：Reddit r/LocalLLaMA (2026-10-21)

—— 完 ——

主题标签： #OpenBMB 关注 #MoE模型 关注 #移动AI 关注 #LES技术 关注 #混合精度量化 关注