NVIDIA发布Nemotron 3.5 Bolt 74B-A9B 24GB：专为本地化智能体任务优化的视觉语言模型

摘要：NVIDIA发布了Nemotron 3.5 Bolt 74B-A9B 24GB，这是一款专为本地化智能体任务设计的视觉语言模型（VLM）。该模型采用2-bit量化技术，适配24GB内存环境，可与其他应用并行运行。其核心优势在于平衡智能与速度，比大多数主流密集模型更快，同时比类似内存占用的MoE模型更智能。该模型支持多模态输入（文本、图像、视频），并针对商业和非商业用途进行了优化。

---

Nemotron 3.5 Bolt 74B-A9B 24GB 技术解析

NVIDIA最新发布的Nemotron 3.5 Bolt 74B-A9B 24GB是一款视觉语言模型（VLM），其设计目标是为本地化智能体任务提供高效支持。该模型的主要特点包括：

1. 架构与量化技术：

   • 采用Mamba-2-Transformer混合架构，结合LatentMoE（潜在专家混合模型）和C-RADIO v4-H视觉编码器。
   • 使用2-bit量化（IQ2），通过量化感知训练（Quantization-Aware Training）实现高效内存利用，仅需24GB内存即可运行。

2. 性能优化：

   • 在保持高智能水平的同时，显著提升了速度，比大多数主流密集模型更快。
   • 相较于类似内存占用的MoE模型，其智能水平更高。

3. 多模态支持与部署：

   • 支持文本、图像和视频输入，输出为文本。
   • 部署环境为NVIDIA Ampere（A100）、Hopper（H100-80GB）和Blackwell系列GPU。

4. 推理模式与采样策略：

   • 推理模式继承自Super 3.5 VL客户端，支持通过聊天模板控制思考模式（enable_thinking=True/False）。
   • 推荐采样策略为温度1.0，top_p 0.95。

5. 应用场景与许可：

   • 适用于本地化日常智能体任务。
   • 采用OpenMDW-1.1许可，支持商业和非商业用途。

工程权衡与实测表现

Nemotron 3.5 Bolt 74B-A9B 24GB在设计上重点优化了智能与速度的平衡，这使其在资源受限的本地化环境中表现出色。然而，这种优化也带来了以下权衡：

• 内存与性能：2-bit量化虽然大幅降低了内存需求，但可能带来一定的精度损失，尤其是在处理复杂任务时。
• 模型规模与效率：尽管模型参数量高达74B，但通过LatentMoE架构和量化技术实现了高效运行，但在大规模并行计算环境中，其性能可能不如专为数据中心设计的模型。

开发者落地与部署建议

对于开发者而言，Nemotron 3.5 Bolt 74B-A9B 24GB是一个强大的工具，特别适合以下场景：

• 本地化智能体应用：如智能家居、个人助理等需要高效本地运行的应用。
• 多模态任务处理：需要同时处理文本、图像和视频的应用。

建议开发者根据具体应用需求进行微调，并充分利用其量化特性以优化内存使用。此外，开发者应关注量化带来的潜在精度损失，并在关键任务中进行充分测试。

---

消息来源：Reddit r/LocalLLaMA (2026-10-15)

—— 完 ——

主题标签： #NVIDIA 关注 #Nemotron 关注 #视觉语言模型 关注 #本地化AI 关注 #多模态 关注