智客信息 · 2026-09-03
Numinous Technology开源TrimTab:vLLM与sglang配置热重载工具发布
Numinous Technology在GitHub上开源了TrimTab工具,该工具支持对vLLM和sglang配置进行热重载,旨在提升AI模型开发与部署的效率。通过热重载功能,开发者可以实时调整模型配置而无需重启服务,从而大幅缩短开发周…
智客专题 本地大模型专题
本地部署大模型的硬件选型、量化方案、推理引擎(vLLM / Ollama / llama.cpp)与生产案例。
· 2026年8月10日 #本地部署#本地大模型#量化#vLLM#Ollama#llama.cpp#llama-cpp#LM Studio · 30 / 113 篇内容
智客信息 · 2026-09-03
Numinous Technology在GitHub上开源了TrimTab工具,该工具支持对vLLM和sglang配置进行热重载,旨在提升AI模型开发与部署的效率。通过热重载功能,开发者可以实时调整模型配置而无需重启服务,从而大幅缩短开发周…
智客信息 · 2026-09-02
Google在Android Studio中集成了其最新的大语言模型Gemma 4,并利用llama.cpp实现本地化运行。该版本支持多GPU并行计算,最大上下文长度达到128k tokens,全量加载时需34GB显存。Gemma 4的发布…
智客信息 · 2026-08-31
ggml-org团队在llama.cpp项目中引入了基于AVX2指令集的优化方案,旨在提升大规模批量提示处理的速度。这一优化主要针对CPU环境下的本地推理任务,通过改进指令集并行性,显著提高了处理效率,尤其适用于资源受限但对性能有高要求的应…
智客信息 · 2026-08-29
Reddit 用户 pmttyji 整理了 llama.cpp 项目的开源 PR 列表,涵盖 CPU、RAM、磁盘及混合优化方向,旨在提升大语言模型在 CPU 环境下及混合推理中的性能表现。这些优化包括多核 NUMA 节点支持、AVX-51…
智客信息 · 2026-08-29
vLLM团队近日发布了一种高效解码上下文并行技术,旨在优化长上下文工作负载的处理效率。该技术通过创新的并行解码机制,显著提升了长文本生成任务的推理速度与资源利用率,为大语言模型在处理复杂任务时的性能瓶颈提供了新的解决方案。这一突破不仅提升了…
智客信息 · 2026-08-29
vLLM 项目于 2026 年 8 月 29 日发布了 v0.28.0 版本,重点优化了推理性能和系统扩展性。该版本引入了多项改进,包括更高效的内存管理机制、更强的分布式训练支持以及更灵活的任务调度策略。这些更新旨在提升大语言模型(LLM)…
智客前沿 · 2026-08-27
ArXiv发布了一项关于低比特量化多模态大语言模型(MLLMs)的研究,提出了一种名为Residual Fallback Quantization(RFQ)的轻量级激活重建框架。该研究指出,4比特量化会导致显著的性能下降,而8比特量化则能实…
智客信息 · 2026-08-27
GitHub AI Trending Releases平台发布了一份关于vLLM解析器的技术报告,揭示了四种可复现的静默故障。这些故障会导致解析器返回200状态码,但实际调用了错误的工具。这项研究强调了在AI模型部署中检测和解决潜在问题的必…
智客信息 · 2026-08-27
NVIDIA宣布收购Hugging Face平台,这可能意味着其同时获得了开源项目llama.cpp的版权及核心开发团队的控制权。llama.cpp团队于2026年2月加入Hugging Face,负责继续开发llama.cpp和ggml库…
智客信息 · 2026-08-27
小米近日推出了一款名为AI Cube的硬件产品,专注于为本地大语言模型(LLM)提供高效计算支持。该设备的核心亮点是其高达1.22 TB/s的近内存带宽,能够显著提升大模型的推理效率和数据处理能力。这一设计旨在解决大模型在资源受限环境下部署…
智客前沿 · 2026-08-27
arXiv发布了一种名为ExFold的新训练无关专家折叠框架,旨在加速混合专家(MoE)模型的预填充(prefill)和解码(decode)阶段推理效率。ExFold通过将预填充和解码视为一个受限输出近似问题,仅执行特定阶段的专家子集,并使…
智客前沿 · 2026-08-25
ArXiv团队提出了一种名为‘压缩三要素’(Compression Trinity)的新框架,通过联合应用稀疏化、量化和低秩近似技术,显著提升了大规模语言模型(LLM)的压缩效率。该框架不仅优化了预训练阶段的加速效果,还通过多种创新方法(如…
智客前沿 · 2026-08-25
ArXiv团队针对孟加拉语(Bangla)这一形态复杂、低资源语言,评估了三种大语言模型(Qwen-2.5-7B、LLaMA-3.1-8B、GPT-OSS-20B)在全精度和三种量化格式(GPTQ-Int8、GPTQ-Q8、GGUF-W8A…
智客信息 · 2026-08-25
vLLM团队近日发布了专为iOS设备优化的vLLM-iOS版本,通过创新的连续批处理技术实现了多智能体推理速度提升88%。这一突破解决了移动设备上AI推理性能瓶颈,为iOS开发者提供了更高效、更强大的AI工具支持。该版本不仅提升了推理效率,…
智客信息 · 2026-08-25
ggml-org于2026年8月25日发布了llama.cpp的v0.2.0版本,这是一款针对LLaMA大语言模型的优化推理引擎。新版本在性能、跨平台兼容性和资源利用效率方面进行了多项改进,包括对多线程处理、内存管理和指令集优化的增强。这些…
智客前沿 · 2026-08-24
Apodex 1.1是一款面向复杂任务的智能体协作与执行引擎,通过环境扩展与智能体协调两个维度提升AI在真实世界目标上的持续、可验证进展能力。该模型在专业工作、金融、科学研究、数学、编程和搜索等复杂领域表现出色,同时推出了35B参数的本地部…
智客信息 · 2026-08-23
Reddit用户分享了在云端部署Kimi K3大语言模型的详细体验,该模型拥有2.8万亿参数。通过使用8个B300加速器,推理速度达到92 tokens/s,每百万token的处理成本为190美元。测试还对比了Unsloth的动态GGUF方…
智客信息 · 2026-08-20
本文探讨了如何通过持续预训练使本地大语言模型(LLM)具备新领域的推理能力。核心方法是通过在特定领域的数据集上进行额外的预训练,使模型能够更好地理解并处理新领域的知识。这种方法不仅提升了模型在新场景下的表现,还保持了本地部署的优势,避免了对…
智客信息 · 2026-08-20
GitHub用户yasuoiwakura发布了一款名为OpenAI-Ollama API Bridge的开源工具,该工具能够将OpenAI的API调用转换为Ollama的本地调用,从而实现对AI模型的高效本地化部署。该项目支持超过4096 …
智客信息 · 2026-08-20
vLLM 团队在 GitHub 上发布了支持 Windows 平台的版本,并集成了 AMD ROCm 驱动,使其能够利用 AMD RDNA2(RX 6000 系列)GPU 进行高效推理。这一更新标志着 vLLM 在跨平台支持方面的重大进展,…
智客信息 · 2026-08-20
Ollama团队展示了其40K上下文窗口模型在静默状态下被压缩至4K的技术成果。该技术能够在不影响模型性能的前提下,大幅减少上下文窗口长度,从而提升处理效率并降低资源消耗。这一突破为AI模型在资源受限环境中的应用提供了新的可能性,并为开发者…
智客信息 · 2026-08-18
ChatOSS是一款基于Ollama构建的开源AI编程助手平台,提供图形化桌面界面,集成了多智能体编程应用和白板工具,支持用户创建自定义AI应用并运行于平台内。该工具旨在简化AI辅助编程流程,提升开发效率,尤其适用于需要本地化计算和隐私保护…
智客信息 · 2026-08-16
Georgi Gerganov开源的llama.cpp项目为本地化大语言模型(LLM)应用提供了关键支持。该项目允许用户在没有专用硬件或云服务的情况下,在本地设备上运行和推理LLM模型,极大降低了AI模型的使用门槛。llama.cpp通过优…
智客信息 · 2026-08-12
Danny Arends开源了一款名为DLLM的AI编程助手,该工具基于llama.cpp构建,旨在提供轻量级、无额外开销的智能体解决方案。DLLM的设计理念强调简洁性与高效性,通过直接调用llama.cpp核心功能,避免了不必要的性能开销…
智客前沿 · 2026-08-12
llama.cpp是一个开源项目,旨在通过C++实现LLaMA模型的本地高效运行。该项目无需依赖复杂的服务器架构或云服务支持,能够在普通硬件设备上运行LLaMA模型,为开发者提供了一种轻量级、低成本的AI模型部署方案。这一开源工具的出现,不…
智客前沿 · 2026-08-11
Luth-2团队发布了Luth-2-0.8B和Luth-2-2B两款法语小语言模型,在多个基准测试中刷新了同类模型的最佳表现。这些模型基于Qwen3.5架构,并引入了3B-token的监督微调(SFT)语料库,涵盖数学、代码、工具调用、多轮…
智客前沿 · 2026-08-11
Tenosra团队发布了一款名为Proxima的vLLM插件,该插件基于Star-KV论文实现,在高批量解码任务中表现优于FA2解码内核,显著提升了请求处理效率。Proxima无需硬件升级即可实现4倍以上的请求处理能力,为AI模型推理优化提…
智客前沿 · 2026-08-11
NVIDIA宣布推出Nemotron 3.5 Lightning,这是一款开源的30B混合专家(MoE)模型,专为本地AI智能体设计。该模型支持高达4倍的快速token生成和30%的任务完成时间缩短,同时支持开发者通过自定义微调以适应特定任…
智客前沿 · 2026-08-10
Meta Superintelligence Labs发布了其首个开源模型Muse Glimmer,这是一款30B参数的多模态模型,专为本地化AI编码代理设计。该模型采用Apache 2.0许可证发布,并借助Ollama的MLX引擎进行加速…
智客前沿 · 2026-08-08
Reddit用户segmond分享了首次在本地运行Kimi K3 AI模型的经验。运行在两个集群上,通过llama.cpp实现RPC通信,但目前集群的内存不足以完全承载模型,导致部分计算需要卸载到主集群。目标是将所有GPU整合到一个系统中以…