骁龙迷你PC运行本地大模型实测：35B模型达30 tokens/s，80B模型突破RAM限制

摘要：一位Reddit用户详细测试了一款售价£300的骁龙迷你PC（Snapdragon X1-26-100，32GB内存）在运行本地大语言模型（LLM）时的性能表现。测试涵盖Qwen3.6 35B和Qwen3-Next 80B等模型，结果显示在CPU运算下，35B模型能达到约30 tokens/s的生成速度，而80B模型虽超出RAM容量，但通过流式处理仍能以17-18 tokens/s的速度运行。测试还探讨了不同量化格式和缓存优化方案对性能的影响，展示了ARM架构在本地LLM部署中的潜力。

---

骁龙迷你PC运行本地大模型实测

背景与动机

一位Reddit用户购买了售价£300的联想IdeaCentre Mini（搭载骁龙X1-26-100处理器，32GB内存，仅支持CPU运算）用于测试工作软件在ARM架构Windows系统上的兼容性。在被该设备的性价比所吸引后，他决定进一步测试这款迷你PC在运行本地大语言模型（LLM）方面的潜力。

测试环境与配置

• 硬件配置: Snapdragon X1-26-100处理器，32GB LPDDR5内存，Adreno X1-45 GPU（目前对LLM无显著支持），NPU未使用。
• 软件配置: 使用llama.cpp和重新编码的Janas（支持ARM架构的MoE专家缓存管理工具）。
• 模型: Qwen3.6 35B A3B（量化格式Q4_0），Qwen3-Next 80B A3B，Gemma 26B。

测试结果

1. Qwen3.6 35B A3B:

   • 读取速度: ~118 tokens/s
   • 写入速度: 24.5 tokens/s
   • MTP（多线程处理）: 29-33 tokens/s

2. Qwen3-Next 80B A3B:

   • 写入速度: 17-18 tokens/s（MTP）

3. Gemma 26B:

   • 读取速度: 134 tokens/s
   • 写入速度: 29.5 tokens/s
   • MTP: 尚未测试

优化与改进

为了突破RAM限制，用户尝试了Janas工具，该工具通过在RAM中缓存MoE专家并从NVMe流式传输其余部分来优化内存使用。由于Janas仅支持x86架构，用户对其进行了ARM架构的重新编码，包括为每种量化格式编写NEON内核，并测试了i8mm等格式。

• Janas优化后的性能:
  • Qwen3.6 35B A3B: 读取速度约60 tokens/s，写入速度17.2 tokens/s，MTP 29-31 tokens/s
  • Gemma 26B: 读取速度115 tokens/s，写入速度23.5 tokens/s，MTP 32-34 tokens/s
  • 80B模型: 读取速度待确认，写入速度9.8 tokens/s，MTP 17-18 tokens/s

此外，用户将编码器的专家缓存压缩至12GB，发现写入速度仍保持在24 tokens/s，这意味着即使是16GB的骁龙设备也能运行35B-A3B模型。

结论与展望

这款迷你PC在无GPU的情况下，以仅约35W的功耗实现了令人惊讶的性能表现。用户还尝试通过USB4连接两台设备进行分布式计算，并成功运行了122B的Qwen模型。总体而言，这款设备展示了ARM架构在本地LLM部署中的潜力，尤其是在预算有限且对功耗敏感的应用场景中。

---

消息来源：Reddit r/LocalLLaMA (2026-10-15)

—— 完 ——

主题标签： #Snapdragon 关注 #本地LLM 关注 #ARM架构 关注 #Qwen模型 关注 #多线程处理 关注