跳到主内容
智客 ZICQ

智客专题 本地大模型专题

本地大模型专题

本地部署大模型的硬件选型、量化方案、推理引擎(vLLM / Ollama / llama.cpp)与生产案例。

· 2026年8月10日 #本地部署#本地大模型#量化#vLLM#Ollama#llama.cpp#llama-cpp#LM Studio · 30 / 113 篇内容

智客信息 · 2026-09-03

Numinous Technology开源TrimTab:vLLM与sglang配置热重载工具发布

Numinous Technology在GitHub上开源了TrimTab工具,该工具支持对vLLM和sglang配置进行热重载,旨在提升AI模型开发与部署的效率。通过热重载功能,开发者可以实时调整模型配置而无需重启服务,从而大幅缩短开发周…

智客信息 · 2026-09-02

Google发布Gemma 4:Android Studio原生支持并集成llama.cpp

Google在Android Studio中集成了其最新的大语言模型Gemma 4,并利用llama.cpp实现本地化运行。该版本支持多GPU并行计算,最大上下文长度达到128k tokens,全量加载时需34GB显存。Gemma 4的发布…

智客信息 · 2026-08-31

ggml-org开源AVX2优化方案:提升LLM本地CPU推理性能

ggml-org团队在llama.cpp项目中引入了基于AVX2指令集的优化方案,旨在提升大规模批量提示处理的速度。这一优化主要针对CPU环境下的本地推理任务,通过改进指令集并行性,显著提高了处理效率,尤其适用于资源受限但对性能有高要求的应…

智客信息 · 2026-08-29

vLLM发布高效解码上下文并行技术,革新长上下文工作负载处理

vLLM团队近日发布了一种高效解码上下文并行技术,旨在优化长上下文工作负载的处理效率。该技术通过创新的并行解码机制,显著提升了长文本生成任务的推理速度与资源利用率,为大语言模型在处理复杂任务时的性能瓶颈提供了新的解决方案。这一突破不仅提升了…

智客信息 · 2026-08-29

vLLM v0.28.0 发布:优化推理性能与扩展性

vLLM 项目于 2026 年 8 月 29 日发布了 v0.28.0 版本,重点优化了推理性能和系统扩展性。该版本引入了多项改进,包括更高效的内存管理机制、更强的分布式训练支持以及更灵活的任务调度策略。这些更新旨在提升大语言模型(LLM)…

智客信息 · 2026-08-27

NVIDIA收购Hugging Face,或将掌控开源项目llama.cpp

NVIDIA宣布收购Hugging Face平台,这可能意味着其同时获得了开源项目llama.cpp的版权及核心开发团队的控制权。llama.cpp团队于2026年2月加入Hugging Face,负责继续开发llama.cpp和ggml库…

智客信息 · 2026-08-27

小米发布AI Cube:瞄准本地大模型,内存带宽高达1.22 TB/s

小米近日推出了一款名为AI Cube的硬件产品,专注于为本地大语言模型(LLM)提供高效计算支持。该设备的核心亮点是其高达1.22 TB/s的近内存带宽,能够显著提升大模型的推理效率和数据处理能力。这一设计旨在解决大模型在资源受限环境下部署…

智客前沿 · 2026-08-25

ArXiv提出‘压缩三要素’框架:革新大语言模型的高效压缩技术

ArXiv团队提出了一种名为‘压缩三要素’(Compression Trinity)的新框架,通过联合应用稀疏化、量化和低秩近似技术,显著提升了大规模语言模型(LLM)的压缩效率。该框架不仅优化了预训练阶段的加速效果,还通过多种创新方法(如…

智客信息 · 2026-08-25

vLLM-iOS发布:iOS设备多智能体推理速度提升88%

vLLM团队近日发布了专为iOS设备优化的vLLM-iOS版本,通过创新的连续批处理技术实现了多智能体推理速度提升88%。这一突破解决了移动设备上AI推理性能瓶颈,为iOS开发者提供了更高效、更强大的AI工具支持。该版本不仅提升了推理效率,…

智客信息 · 2026-08-25

ggml-org开源llama.cpp v0.2.0:优化AI推理性能与跨平台支持

ggml-org于2026年8月25日发布了llama.cpp的v0.2.0版本,这是一款针对LLaMA大语言模型的优化推理引擎。新版本在性能、跨平台兼容性和资源利用效率方面进行了多项改进,包括对多线程处理、内存管理和指令集优化的增强。这些…

智客前沿 · 2026-08-24

Apodex 1.1发布:面向复杂任务的智能体协作与执行引擎

Apodex 1.1是一款面向复杂任务的智能体协作与执行引擎,通过环境扩展与智能体协调两个维度提升AI在真实世界目标上的持续、可验证进展能力。该模型在专业工作、金融、科学研究、数学、编程和搜索等复杂领域表现出色,同时推出了35B参数的本地部…

智客信息 · 2026-08-20

本地大语言模型通过持续预训练实现新领域推理能力

本文探讨了如何通过持续预训练使本地大语言模型(LLM)具备新领域的推理能力。核心方法是通过在特定领域的数据集上进行额外的预训练,使模型能够更好地理解并处理新领域的知识。这种方法不仅提升了模型在新场景下的表现,还保持了本地部署的优势,避免了对…

智客信息 · 2026-08-20

Ollama实现40K上下文窗口模型静默压缩至4K,性能无损

Ollama团队展示了其40K上下文窗口模型在静默状态下被压缩至4K的技术成果。该技术能够在不影响模型性能的前提下,大幅减少上下文窗口长度,从而提升处理效率并降低资源消耗。这一突破为AI模型在资源受限环境中的应用提供了新的可能性,并为开发者…

智客信息 · 2026-08-18

ChatOSS发布:基于Ollama的开源AI编程助手平台

ChatOSS是一款基于Ollama构建的开源AI编程助手平台,提供图形化桌面界面,集成了多智能体编程应用和白板工具,支持用户创建自定义AI应用并运行于平台内。该工具旨在简化AI辅助编程流程,提升开发效率,尤其适用于需要本地化计算和隐私保护…

智客信息 · 2026-08-12

开源AI编程助手DLLM发布:基于llama.cpp实现轻量级智能体

Danny Arends开源了一款名为DLLM的AI编程助手,该工具基于llama.cpp构建,旨在提供轻量级、无额外开销的智能体解决方案。DLLM的设计理念强调简洁性与高效性,通过直接调用llama.cpp核心功能,避免了不必要的性能开销…

智客前沿 · 2026-08-11

Luth-2发布:突破性法语小语言模型,性能领先同类模型

Luth-2团队发布了Luth-2-0.8B和Luth-2-2B两款法语小语言模型,在多个基准测试中刷新了同类模型的最佳表现。这些模型基于Qwen3.5架构,并引入了3B-token的监督微调(SFT)语料库,涵盖数学、代码、工具调用、多轮…

智客前沿 · 2026-08-11

Tenosra发布Proxima插件:基于Star-KV论文的vLLM加速方案

Tenosra团队发布了一款名为Proxima的vLLM插件,该插件基于Star-KV论文实现,在高批量解码任务中表现优于FA2解码内核,显著提升了请求处理效率。Proxima无需硬件升级即可实现4倍以上的请求处理能力,为AI模型推理优化提…

智客前沿 · 2026-08-11

NVIDIA发布Nemotron 3.5 Lightning:加速本地AI智能体开发

NVIDIA宣布推出Nemotron 3.5 Lightning,这是一款开源的30B混合专家(MoE)模型,专为本地AI智能体设计。该模型支持高达4倍的快速token生成和30%的任务完成时间缩短,同时支持开发者通过自定义微调以适应特定任…

智客前沿 · 2026-08-08

Reddit用户首次在本地运行Kimi K3 AI模型:性能与挑战解析

Reddit用户segmond分享了首次在本地运行Kimi K3 AI模型的经验。运行在两个集群上,通过llama.cpp实现RPC通信,但目前集群的内存不足以完全承载模型,导致部分计算需要卸载到主集群。目标是将所有GPU整合到一个系统中以…