跳到主内容
智客 ZICQ

智客专题 本地大模型专题

本地大模型专题

本地部署大模型的硬件选型、量化方案、推理引擎(vLLM / Ollama / llama.cpp)与生产案例。

· 2026年8月10日 #本地部署#本地大模型#量化#vLLM#Ollama#llama.cpp#llama-cpp#LM Studio · 30 / 113 篇内容

智客信息 · 2026-10-09

腾讯发布Youtu-Parsing-Omni:多模态解析模型革新感知与认知任务处理

腾讯发布了一款名为Youtu-Parsing-Omni的紧凑型多模态解析模型,该模型能够处理文档页面、自然图像、图表、几何图形、音频和音视频等多种输入格式,并生成统一的结构化JSON输出,涵盖感知(布局元素、文本、表格等)和认知(字幕、叙述…

智客信息 · 2026-10-07

ggml-org开源MoE模型GPU缓存优化方案:提升本地AI推理性能

ggml-org在llama.cpp项目中引入了一项针对混合专家(MoE)模型的GPU缓存优化方案,旨在解决MoE模型在显存不足的情况下推理速度缓慢的问题。该方案通过在GPU上缓存存储于主机内存中的MoE专家数据,显著提升了推理效率,尤其适…

智客信息 · 2026-10-05

llama.cpp v0.6.0发布:支持Qwen4Exp的MTP推测解码及多项新功能

llama.cpp项目发布了v0.6.0版本,新增了针对Qwen4Exp模型的MTP推测解码功能,同时包含多项性能优化与功能扩展。此次更新旨在提升本地运行大语言模型的推理效率与多模态支持能力,为开发者提供更强大的工具支持。

智客信息 · 2026-09-30

Ollama发布Nimble:支持本地化Jev-like决策模型的AI工具

Ollama宣布在其最新版本0.35中支持名为Nimble的本地化Jev-like决策模型。这一更新旨在为用户提供更高效、更灵活的AI推理能力,同时保持数据隐私和低延迟。Nimble的发布标志着Ollama在本地化AI工具领域的进一步扩展,…

智客信息 · 2026-09-25

Ollaya发布开源决策模型Ollama:Jev风格AI工具开源化

Ollaya团队推出了一款名为Ollama的开源决策模型工具,灵感来源于Jev风格的设计理念。该工具旨在为开发者提供高效、可扩展的AI决策模型支持,适用于从数据分析到复杂任务处理的多种场景。Ollama的开源发布为AI社区带来了新的工具选择…

智客信息 · 2026-09-24

vLLM发布全新水印技术:增强AI生成内容可追溯性

vLLM团队近日发布了一项针对AI生成内容的水印技术,旨在提升AI生成内容的可追溯性与安全性。该技术通过在AI生成内容中嵌入不可察觉的水印标记,帮助用户识别和追踪AI生成文本的来源,从而有效应对AI生成内容的滥用风险。这一创新为AI内容治理…

智客信息 · 2026-09-24

Alibaba发布Qwen-3.8-27B大语言模型:性能表现引发开发者热议

Alibaba近日推出了其最新版本的大语言模型Qwen-3.8-27B,该模型在复杂任务处理和决策能力方面表现出色,吸引了开发者的广泛关注。尽管模型在处理过程中表现出一定的延迟,但其独立完成复杂重构任务的能力令人印象深刻。Qwen-3.8-…

智客信息 · 2026-09-23

PyTorch发布vLLM硬件无关模型:AI推理性能优化新突破

PyTorch团队近日宣布推出vLLM硬件无关模型,旨在通过优化AI模型的硬件兼容性,提升推理性能并降低计算成本。该技术通过抽象化硬件细节,使AI模型能够在不同类型的硬件平台上高效运行,从而减少对特定硬件的依赖并提升资源利用率。这一发布为A…

智客信息 · 2026-09-23

Parity发布DeepSeek V4自托管方案,助力软件工程组织AI转型

Parity推出DeepSeek V4自托管解决方案,旨在帮助软件工程组织更高效地利用AI技术提升开发效率与生产力。该方案支持在本地环境中部署DeepSeek V4模型,为企业提供更高的数据隐私保障和定制化能力,同时优化了AI模型在资源受限…

智客信息 · 2026-09-23

本地运行大语言模型:权衡与优化策略深度解析

本文由AI研究者Swapnil Talekar撰写,深入探讨了在本地设备上运行大语言模型(LLMs)的权衡与优化策略。文章从性能、能耗、延迟和隐私等多个维度分析了本地运行LLMs的挑战,并提出了相应的解决方案,例如通过模型量化、剪枝和高效的…

智客信息 · 2026-09-21

vLLM架构与性能深度解析:内存优化与基准测试揭秘

G-FTech发布了一篇关于vLLM(高效大语言模型推理引擎)的深度技术文章,详细解析了其架构设计、内存管理机制以及性能基准测试结果。vLLM通过创新的内存优化策略和高效的推理流水线,在处理大规模语言模型时实现了显著的性能提升和资源节省。文…

智客信息 · 2026-09-20

自托管推理编排工具对比:LocalAI、exo、GPUStack、vLLM深度解析

本文对四款自托管推理编排工具——LocalAI、exo、GPUStack 和 vLLM 进行了详细对比,涵盖其架构设计、性能表现、扩展性以及适用场景等方面。这些工具旨在帮助开发者更高效地部署和管理本地 AI 模型推理任务,尤其适用于对数据隐…

智客信息 · 2026-09-17

vLLM推出智能体对话间前缀缓存保持技术:提升AI推理效率

Reddit社区LocalLLaMA发布了一项关于vLLM的新技术研究,该技术通过在智能体对话轮次之间保持前缀缓存(Prefix Cache)的活跃状态,显著提升了AI推理的效率。研究表明,该方法能够减少重复计算,优化资源利用,尤其适用于需…

智客信息 · 2026-09-10

Glq开源:基于vLLM插件的LLM量化优化方案发布

Glq是一款基于vLLM插件的LLM(大型语言模型)量化优化方案,采用树状量化技术,旨在提升大语言模型的推理效率并降低计算资源消耗。该项目已在GitHub开源,为开发者提供了一种轻量级、高性能的LLM推理优化工具,尤其适用于资源受限或对推理…

智客信息 · 2026-09-09

vLLM 0.29.0发布:Model Runner V2成为默认版本

vLLM项目发布了0.29.0版本,其核心更新是将Model Runner V2设为默认版本。Model Runner V2通过优化模型执行流程和提升资源利用效率,显著改善了大规模语言模型(LLM)的推理性能。该版本还引入了多项改进,包括更…

智客信息 · 2026-09-09

vLLM发布Tenstorrent硬件优化插件,提升大语言模型推理效率

vLLM团队发布了一款针对Tenstorrent硬件优化的插件,旨在提升大语言模型(LLMs)的推理效率。该插件通过优化硬件资源调度与模型执行流程,充分利用Tenstorrent芯片的并行计算能力,显著降低了推理延迟并提高了吞吐量。这一技术…

智客信息 · 2026-09-07

vLLM推出基于AMD GPU的推测解码技术,提升AI推理效率

vLLM团队宣布在AMD GPU上实现推测解码技术,这一创新旨在优化AI模型的推理效率。通过推测解码,AI系统能够在不牺牲准确性的前提下,提前预测并处理部分计算任务,从而显著减少推理延迟并提升整体性能。该技术特别适用于对实时性要求较高的应用…

智客信息 · 2026-09-06

开源MoE专家扩展:提升稀疏专家模型推理效率

Reddit用户vagrillo在GitHub上开源了针对llama.cpp的MoE(稀疏专家模型)专家扩展技术。该技术通过增加路由专家数量、引入自适应阈值和影响力衰减机制,显著提升了稀疏专家模型的推理效率。测试表明,该扩展在Qwen 3.…

智客信息 · 2026-09-05

LlamaRack开源:面向llama.cpp的AI推理加速框架

GitHub用户Brantje发布了一款名为LlamaRack的开源项目,旨在为基于llama.cpp的AI推理任务提供加速支持。该项目通过优化推理流程和资源管理,提升了AI模型在本地或服务器环境中的运行效率,尤其适用于资源受限的设备或需要…