Blockway发布Agens Volundr 32B v1：优化推理效率与本地化运行能力

摘要：Blockway发布了Agens Volundr 32B v1版本，针对用户反馈的问题进行了优化，包括减少重复循环、提高推理步骤长度以及引入会话延续功能。此外，团队开源了Agens Engine推理引擎，支持在16GB内存预算内运行262K上下文（实测达239K），并提供显著的性能提升，如解码速度提升1.4-1.8倍。该版本还展示了在长上下文处理和高效推理方面的潜力，但存在精度下降和硬件限制等权衡。

---

核心突破

Blockway发布了Agens Volundr 32B v1版本，重点解决了用户在其预览版本中反馈的问题，包括：

1. 减少重复循环：在SWE-bench任务中，重复循环从36/50降至0/50。
2. 提高推理步骤长度：推理步骤的中位数从32K提升至120个token，最长可达12K。
3. 引入会话延续功能：通过SGLang构建，模型能够重用状态而非每次都重新填充历史记录，使后续对话速度提高了2.9倍。

技术机制剖析

Agens Volundr 32B v1采用了混合架构，其中54层保持固定大小的状态而非传统的KV缓存。团队开源了Agens Engine推理引擎，该引擎专为这种架构设计，能够在16GB内存预算内处理262K上下文（实测达239K）。以下是一些关键特性：

• 性能提升：在相同GPU和INT4权重下，Agens Engine比SGLang构建快1.4-1.6倍，在代码推理任务中甚至可达1.8倍。
• 多模态支持：支持聊天、代码、代理和JSON等多种模式，解码速度分别提升至86、113、121和199 tok/s。
• 资源优化：仅18层保留KV缓存，使得长上下文处理更加高效。

工程权衡与实测表现

尽管Agens Volundr 32B v1在多个方面表现出色，但也存在一些权衡：

• 精度下降：在INT4量化下，GPQA评分从80.3降至73.7，HumanEval从73.8%降至73.2%。
• 硬件限制：需要NVIDIA驱动和CUDA 12.9，32GB+主机RAM，以及Linux操作系统。
• 模型大小：权重下载为25GB，对存储和带宽有一定要求。

在基准测试中，Agens Volundr 32B v1在SWE-bench任务中从22/50提升至27/50，τ²-bench从89/120提升至92/120，LiveCodeBench v6从63.4提升至67.9，AIME 2025从76.7提升至80.0。

开发者落地与部署建议

Agens Volundr 32B v1适用于需要高效长上下文处理和快速推理的应用场景。以下是一些部署建议：

• 硬件要求：确保使用NVIDIA GPU，CUDA 12.9，以及至少32GB主机RAM。
• 软件环境：使用Docker运行预构建的引擎镜像，并挂载模型和草稿目录。
• 性能优化：对于需要更高性能的应用，可以考虑使用更大的GPU或优化推理流程。

结论

Agens Volundr 32B v1在长上下文处理和高效推理方面展示了显著优势，但也存在精度下降和硬件限制等权衡。对于需要本地化部署和高效推理的应用场景，该版本是一个值得考虑的选择。

---

消息来源：Reddit r/LocalLLaMA (2026-10-18)

—— 完 ——

主题标签： #Blockway 关注 #Agens Volundr 关注 #长上下文 关注 #高效推理 关注 #本地化部署 关注