跳到主内容
智客 ZICQ

智客专题 本地大模型专题

本地大模型专题

本地部署大模型的硬件选型、量化方案、推理引擎(vLLM / Ollama / llama.cpp)与生产案例。

· 2026年8月10日 #本地部署#本地大模型#量化#vLLM#Ollama#llama.cpp#llama-cpp#LM Studio · 23 / 113 篇内容

智客前沿 · 2026-08-07

llama.cpp 新优化:Q2_0 在 x86 CPU 上提速 3-3.6 倍

Reddit 用户分享了 llama.cpp 的最新优化 PR,该优化通过引入 x86 VNNI 指令集实现 Q2_0 × Q8_0 点积的加速,在 AMD EPYC 9645 上对 Bonsai 模型进行测试,结果显示从 1.7B 到 2…

智客前沿 · 2026-08-07

开源工具 academi_slide:基于本地大模型生成研究论文演示文稿

Nicolás López 开发了一款名为 academi_slide 的开源工具,旨在解决研究人员准备演示文稿时的痛点。该工具利用本地大语言模型(LLM),无需上传敏感数据即可自动提取论文中的关键内容(如章节、图表、引用等),并生成初步的…

智客前沿 · 2026-08-04

Hugging Face发布LFM2.5-2.6B:支持本地部署的多人AI智能体模型

Hugging Face推出了一款名为LFM2.5-2.6B的轻量级AI智能体模型,支持在本地环境中部署。该模型专为多人游戏环境设计,通过分离世界动态与视图渲染,显著提升了状态更新效率和跨视图一致性。LFM2.5-2.6B的发布为开发者提供…

智客信息 · 2026-07-29

量化对多轮工具调用智能体性能的影响:深入分析误差预算掩盖的损害

本研究探讨了后训练4-bit量化对多轮工具调用智能体性能的影响。尽管标准指标显示量化对模型性能的影响几乎可以忽略不计,但深入分析揭示了量化会显著放大模型在特定任务中的失败率,例如在电信领域的工具调用幻觉问题。研究表明,量化使失败量增加了2.…

智客前沿 · 2026-06-29

Ollama发布Gemma 4:MLX多令牌预测技术实现性能飞跃

Ollama在最新版本0.31中,通过集成MLX的多令牌预测(MTP)技术,大幅提升了Gemma 4在Apple Silicon上的运行速度。在Aider多语言基准测试中,使用编码智能体时性能提升高达90%。这一突破展示了Ollama在优化…

智客前沿 · 2026-06-25

Cohere推出AI智能体:自动化vLLM分支维护,显著缩短上游同步时间

Cohere发布了一款基于AI智能体的解决方案,用于自动化vLLM(变分语言模型)分支的维护工作。该方案通过自动化的rebase、测试和冲突修复,将上游同步时间从数周缩短至数天。这一创新不仅提升了开发效率,还减少了人工干预的需求,为AI开发…

智客前沿 · 2026-06-11

Ollama发布MLX引擎重大更新:Apple Silicon性能全面提升

Ollama宣布其MLX引擎在Apple Silicon平台上实现重大性能升级,模型生成质量更高、响应速度更快且内存占用更少。此次更新展示了Ollama在优化AI模型性能方面的持续努力,为开发者提供了更高效的工具支持,尤其在资源受限的硬件环…

智客前沿 · 2026-06-05

Ollama 0.30发布:支持GGUF模型,性能与兼容性大幅提升

Ollama 0.30版本正式发布,通过集成llama.cpp支持GGUF模型格式,大幅提升了AI模型的兼容性与运行效率。该版本还增强了Ollama的MLX引擎在Apple Silicon平台上的性能,为开发者提供了更广泛硬件支持的同时,优…

智客前沿 · 2026-05-28

Ollama 发布 OpenJarvis:开源本地优先的个人 AI 框架

Ollama 正式发布 OpenJarvis v1.0,这是一款开源框架,旨在帮助用户构建可在本地硬件上运行的个人 AI 智能体。该框架内置对 Ollama 的支持,强调本地化部署和隐私保护,为开发者提供了一种灵活且高效的工具来创建个性化 …

智客前沿 · 2026-05-28

Ollama发布OpenJarvis:开源本地优先的个人AI助手框架

Ollama正式发布OpenJarvis v1.0,这是一款开源框架,旨在帮助开发者在本地硬件上构建个人AI助手。OpenJarvis集成了Ollama的内置支持,提供了更高效的AI模型运行能力,同时强调本地化部署以增强数据隐私和安全性。这…

智客前沿 · 2026-03-30

Ollama 预览 MLX 引擎:Apple Silicon 性能优化新突破

Ollama 宣布在 Apple Silicon 平台上预览 MLX 引擎,为用户提供更快的 AI 模型运行速度。MLX 是苹果的机器学习框架,此次集成展示了 Ollama 在优化 AI 模型性能方面的持续努力,尤其在资源受限的硬件环境中表…

智客前沿 · 2026-02-23

Ollama 推出 OpenClaw 一键部署:两分钟内启动个人 AI 智能体

Ollama 官方博客发布教程,介绍如何通过单条命令在不到两分钟内完成 OpenClaw 的安装与配置。OpenClaw 是一个开源的个人 AI 智能体框架,此次集成使得本地部署智能体变得前所未有的简单,进一步降低了开发者构建自主 AI 助…

智客前沿 · 2026-02-16

Ollama发布Claude Code新功能:支持子智能体与网页搜索

Ollama宣布其Claude Code平台新增子智能体(subagents)和网页搜索功能。这一更新旨在提升AI模型在复杂任务处理中的协作能力与信息获取效率。子智能体功能允许AI模型在执行任务时调用多个子模块,实现更精细化的任务分配与协作…

智客前沿 · 2023-09-12

vLLM发布:基于PagedAttention的高效大语言模型推理系统

vLLM是一款基于PagedAttention算法的高效大语言模型(LLM)推理系统,通过借鉴操作系统中的虚拟内存和分页技术,解决了现有系统在处理大规模键值缓存(KV Cache)时的内存浪费问题。vLLM实现了近乎零的KV缓存内存浪费,并…