智客前沿 · 2026-08-07
llama.cpp 新优化:Q2_0 在 x86 CPU 上提速 3-3.6 倍
Reddit 用户分享了 llama.cpp 的最新优化 PR,该优化通过引入 x86 VNNI 指令集实现 Q2_0 × Q8_0 点积的加速,在 AMD EPYC 9645 上对 Bonsai 模型进行测试,结果显示从 1.7B 到 2…
智客专题 本地大模型专题
本地部署大模型的硬件选型、量化方案、推理引擎(vLLM / Ollama / llama.cpp)与生产案例。
· 2026年8月10日 #本地部署#本地大模型#量化#vLLM#Ollama#llama.cpp#llama-cpp#LM Studio · 23 / 113 篇内容
智客前沿 · 2026-08-07
Reddit 用户分享了 llama.cpp 的最新优化 PR,该优化通过引入 x86 VNNI 指令集实现 Q2_0 × Q8_0 点积的加速,在 AMD EPYC 9645 上对 Bonsai 模型进行测试,结果显示从 1.7B 到 2…
智客前沿 · 2026-08-07
Nicolás López 开发了一款名为 academi_slide 的开源工具,旨在解决研究人员准备演示文稿时的痛点。该工具利用本地大语言模型(LLM),无需上传敏感数据即可自动提取论文中的关键内容(如章节、图表、引用等),并生成初步的…
智客前沿 · 2026-08-06
arXiv 最新论文提出递归残差量化(RRQ),一种免校准的后训练量化框架,通过将权重表示为低比特基与一系列量化残差,实现从单一检查点生成 2/4/6/8 位多种精度。在 Qwen3-8B 上,构建全精度包仅需 1293 秒,比 MatGP…
智客前沿 · 2026-08-04
Hugging Face推出了一款名为LFM2.5-2.6B的轻量级AI智能体模型,支持在本地环境中部署。该模型专为多人游戏环境设计,通过分离世界动态与视图渲染,显著提升了状态更新效率和跨视图一致性。LFM2.5-2.6B的发布为开发者提供…
智客信息 · 2026-07-29
本研究探讨了后训练4-bit量化对多轮工具调用智能体性能的影响。尽管标准指标显示量化对模型性能的影响几乎可以忽略不计,但深入分析揭示了量化会显著放大模型在特定任务中的失败率,例如在电信领域的工具调用幻觉问题。研究表明,量化使失败量增加了2.…
智客前沿 · 2026-07-09
Ollama宣布完成8800万美元融资,由Benchmark、Theory Ventures、8VC、Y Combinator等知名投资机构及多位天使投资人领投。此轮融资将用于进一步扩展其面向开发者的AI开源模型平台,服务于全球890万开发…
智客前沿 · 2026-07-09
Ollama 宣布完成 8800 万美元融资,由 Benchmark、Theory Ventures、8VC、Y Combinator 等顶级机构参投。作为最受欢迎的开源大模型本地运行工具,Ollama 已服务 890 万开发者,此次融资将…
智客前沿 · 2026-06-29
Ollama 0.31 版本通过集成 MLX 引擎,为 Apple Silicon 设备上的 Gemma 4 模型引入了多令牌预测(MTP)技术,显著提升了模型性能。在 Aider 多语言基准测试中,使用编程智能体时性能提升高达 90%。这…
智客前沿 · 2026-06-29
Ollama在最新版本0.31中,通过集成MLX的多令牌预测(MTP)技术,大幅提升了Gemma 4在Apple Silicon上的运行速度。在Aider多语言基准测试中,使用编码智能体时性能提升高达90%。这一突破展示了Ollama在优化…
智客前沿 · 2026-06-29
Ollama 发布 0.31 版本,针对 Apple Silicon 上的 Gemma 4 模型引入多令牌预测(MTP)支持,基于 MLX 框架实现显著加速。在 Aider polyglot 基准测试中,编码智能体的性能提升高达 90%。这…
智客前沿 · 2026-06-25
Cohere发布了一款基于AI智能体的解决方案,用于自动化vLLM(变分语言模型)分支的维护工作。该方案通过自动化的rebase、测试和冲突修复,将上游同步时间从数周缩短至数天。这一创新不仅提升了开发效率,还减少了人工干预的需求,为AI开发…
智客前沿 · 2026-06-11
Ollama宣布其MLX引擎在Apple Silicon平台上实现重大性能升级,模型生成质量更高、响应速度更快且内存占用更少。此次更新展示了Ollama在优化AI模型性能方面的持续努力,为开发者提供了更高效的工具支持,尤其在资源受限的硬件环…
智客前沿 · 2026-06-05
Ollama 0.30版本正式发布,通过集成llama.cpp支持GGUF模型格式,大幅提升了AI模型的兼容性与运行效率。该版本还增强了Ollama的MLX引擎在Apple Silicon平台上的性能,为开发者提供了更广泛硬件支持的同时,优…
智客前沿 · 2026-06-05
Ollama 0.30 正式发布,通过集成 llama.cpp 实现了对 GGUF 模型格式的全面支持,显著提升了模型兼容性和运行性能。该版本在 Apple Silicon 上补充了原有的 MLX 引擎,使更多模型能够在更广泛的硬件上运行。…
智客前沿 · 2026-05-28
Ollama 正式发布 OpenJarvis v1.0,这是一款开源框架,旨在帮助用户构建可在本地硬件上运行的个人 AI 智能体。该框架内置对 Ollama 的支持,强调本地化部署和隐私保护,为开发者提供了一种灵活且高效的工具来创建个性化 …
智客前沿 · 2026-05-28
Ollama正式发布OpenJarvis v1.0,这是一款开源框架,旨在帮助开发者在本地硬件上构建个人AI助手。OpenJarvis集成了Ollama的内置支持,提供了更高效的AI模型运行能力,同时强调本地化部署以增强数据隐私和安全性。这…
智客前沿 · 2026-05-28
OpenJarvis v1.0 正式发布,这是一个开源的、本地优先的个人 AI 智能体框架,旨在让用户在自己的硬件上运行个人 AI 助手。该框架内置了对 Ollama 的支持,简化了本地模型的部署与集成,为追求数据隐私和低延迟的开发者提供了…
智客前沿 · 2026-03-30
Ollama 宣布在 Apple Silicon 平台上预览 MLX 引擎,为用户提供更快的 AI 模型运行速度。MLX 是苹果的机器学习框架,此次集成展示了 Ollama 在优化 AI 模型性能方面的持续努力,尤其在资源受限的硬件环境中表…
智客前沿 · 2026-03-30
Ollama 官方宣布推出基于 Apple 机器学习框架 MLX 的预览版,旨在为 Apple Silicon 设备提供最快的本地模型运行体验。该预览版充分利用了 Apple 芯片的统一内存架构和 MLX 的高效算子,显著提升了模型加载速度…
智客前沿 · 2026-02-23
Ollama 官方博客发布教程,介绍如何通过单条命令在不到两分钟内完成 OpenClaw 的安装与配置。OpenClaw 是一个开源的个人 AI 智能体框架,此次集成使得本地部署智能体变得前所未有的简单,进一步降低了开发者构建自主 AI 助…
智客前沿 · 2026-02-16
Ollama宣布其Claude Code平台新增子智能体(subagents)和网页搜索功能。这一更新旨在提升AI模型在复杂任务处理中的协作能力与信息获取效率。子智能体功能允许AI模型在执行任务时调用多个子模块,实现更精细化的任务分配与协作…
智客前沿 · 2026-02-16
Ollama 官方博客宣布,其平台现已支持在 Claude Code 中使用子代理(subagents)和联网搜索(web search)功能。这一更新将本地模型推理与智能体工作流深度结合,使开发者能够在本地环境中构建更复杂、更自主的 AI…
智客前沿 · 2023-09-12
vLLM是一款基于PagedAttention算法的高效大语言模型(LLM)推理系统,通过借鉴操作系统中的虚拟内存和分页技术,解决了现有系统在处理大规模键值缓存(KV Cache)时的内存浪费问题。vLLM实现了近乎零的KV缓存内存浪费,并…