Precision Numerics发布Boole-1.7B：1-bit量化Qwen3-1.7B模型，性能超越Bonsai-1.7B

摘要：Precision Numerics推出Boole-1.7B，这是一款基于Qwen3-1.7B的1-bit量化模型，模型权重仅为247MB，比BF16版本缩小13.9倍。在包含10项任务的基准测试中，其平均得分达到原BF16模型的85.9%，性能超越1-bit Bonsai-1.7B，并接近1.58-bit Bonsai-1.7B。该模型支持在浏览器中低延迟运行，适用于英语任务及非推理模式，并兼容vLLM和llama.cpp等推理引擎。Precision Numerics计划为开源社区提供更多高效模型，并欢迎社区提出需求。

---

技术机制剖析

Boole-1.7B是Precision Numerics推出的1-bit量化模型，基于Qwen3-1.7B架构。其核心优势在于大幅降低模型权重体积，247MB的权重尺寸相比BF16版本缩小了13.9倍。这一成果主要通过以下技术实现：

1. 1-bit量化技术：将模型权重从浮点数转换为1-bit表示，极大减少存储需求，同时保持较高的计算效率。
2. 模型架构优化：在量化过程中，Boole-1.7B对注意力机制和前馈神经网络进行了针对性调整，以适应低精度计算环境。

工程权衡与实测表现

尽管Boole-1.7B在模型体积和计算效率上取得了显著优势，但量化过程不可避免地带来了精度损失。在10项任务的基准测试中，其平均得分达到原BF16模型的85.9%。具体表现为：

• 性能：在低延迟任务中表现优异，尤其适合对实时性要求较高的应用场景。
• 精度：与Bonsai-1.7B的1-bit版本相比，Boole-1.7B在精度上实现了超越，并接近1.58-bit Bonsai-1.7B。

开发者落地与部署建议

Boole-1.7B支持多种部署方式，包括本地浏览器运行和通过vLLM或llama.cpp进行推理。对于开发者而言，以下几点值得注意：

1. 适用场景：推荐用于对实时性要求高且对精度要求相对较低的任务，如低延迟对话系统或边缘设备上的推理任务。
2. 兼容性：Boole-1.7B与主流推理引擎兼容，简化了部署流程。
3. 社区支持：Precision Numerics计划为开源社区提供更多高效模型，开发者可以积极参与反馈和测试。

结论

Boole-1.7B的发布标志着1-bit量化技术在大型语言模型中的应用取得了重要进展。尽管存在一定的精度损失，但其低存储需求和高计算效率使其在特定应用场景中具有显著优势。

---

消息来源：Reddit r/LocalLLaMA (2026-10-12)

—— 完 ——

主题标签： #Precision Numerics 关注 #Boole-1.7B 关注 #1-bit量化 关注 #Qwen3-1.7B 关注 #开源模型 关注