智客信息 · 2026-10-09
腾讯发布Youtu-Parsing-Omni:多模态解析模型革新感知与认知任务处理
腾讯发布了一款名为Youtu-Parsing-Omni的紧凑型多模态解析模型,该模型能够处理文档页面、自然图像、图表、几何图形、音频和音视频等多种输入格式,并生成统一的结构化JSON输出,涵盖感知(布局元素、文本、表格等)和认知(字幕、叙述…
智客专题 本地大模型专题
本地部署大模型的硬件选型、量化方案、推理引擎(vLLM / Ollama / llama.cpp)与生产案例。
· 2026年8月10日 #本地部署#本地大模型#量化#vLLM#Ollama#llama.cpp#llama-cpp#LM Studio · 30 / 113 篇内容
智客信息 · 2026-10-09
腾讯发布了一款名为Youtu-Parsing-Omni的紧凑型多模态解析模型,该模型能够处理文档页面、自然图像、图表、几何图形、音频和音视频等多种输入格式,并生成统一的结构化JSON输出,涵盖感知(布局元素、文本、表格等)和认知(字幕、叙述…
智客信息 · 2026-10-07
ggml-org在llama.cpp项目中引入了一项针对混合专家(MoE)模型的GPU缓存优化方案,旨在解决MoE模型在显存不足的情况下推理速度缓慢的问题。该方案通过在GPU上缓存存储于主机内存中的MoE专家数据,显著提升了推理效率,尤其适…
智客信息 · 2026-10-07
ggml-org在llama.cpp项目中引入了一项针对混合专家(MoE)模型的GPU缓存优化方案,旨在解决MoE模型在显存(VRAM)不足的情况下推理速度缓慢的问题。该方案通过在GPU上缓存存储于主机内存中的MoE专家数据,显著提升了推理…
智客信息 · 2026-10-05
llama.cpp项目发布了v0.6.0版本,新增了针对Qwen4Exp模型的MTP推测解码功能,同时包含多项性能优化与功能扩展。此次更新旨在提升本地运行大语言模型的推理效率与多模态支持能力,为开发者提供更强大的工具支持。
智客信息 · 2026-10-01
1CatAI团队在GitHub上开源了一款针对vLLM的Flash-Next优化版本,通过动态将模型权重转换为FP16格式,显著提升了KV Cache容量和推理速度。在使用8块NVIDIA V100 GPU的服务器上,模型在处理27B参数大…
智客信息 · 2026-09-30
Ollama宣布在其最新版本0.35中支持名为Nimble的本地化Jev-like决策模型。这一更新旨在为用户提供更高效、更灵活的AI推理能力,同时保持数据隐私和低延迟。Nimble的发布标志着Ollama在本地化AI工具领域的进一步扩展,…
智客信息 · 2026-09-28
Google Cloud 推出了一篇详细的教程,介绍如何利用 DiffusionGemma 和 vLLM 构建 JEV 风格的分类器。DiffusionGemma 是一种基于扩散模型的生成模型,而 vLLM 则代表高效的变分大语言模型(vL…
智客信息 · 2026-09-26
GitHub AI Trending Releases 平台发布了一项针对 llama.cpp 的优化技术,通过改进 Prompt 查找算法,将处理速度提升了 42 倍。这一优化旨在提升大语言模型(LLM)在实时任务中的响应效率,尤其适用于…
智客信息 · 2026-09-26
GitHub AI Trending Releases平台宣布支持Oh My Pi项目中的自定义模型,包括vLLM、Llama.cpp和SGLang等工具。这一更新旨在为开发者提供更灵活、高效的AI模型部署方案,尤其适用于资源受限的硬件环境…
智客信息 · 2026-09-26
GitHub AI Trending Releases 平台近日宣布支持 Oh My Pi 项目中的自定义模型,包括 vLLM、Llama.cpp 和 SGLang 等工具。这一更新旨在为开发者提供更灵活、高效的 AI 模型部署方案,尤其适…
智客信息 · 2026-09-25
Ollaya团队推出了一款名为Ollama的开源决策模型工具,灵感来源于Jev风格的设计理念。该工具旨在为开发者提供高效、可扩展的AI决策模型支持,适用于从数据分析到复杂任务处理的多种场景。Ollama的开源发布为AI社区带来了新的工具选择…
智客信息 · 2026-09-24
vLLM团队近日发布了一项针对AI生成内容的水印技术,旨在提升AI生成内容的可追溯性与安全性。该技术通过在AI生成内容中嵌入不可察觉的水印标记,帮助用户识别和追踪AI生成文本的来源,从而有效应对AI生成内容的滥用风险。这一创新为AI内容治理…
智客信息 · 2026-09-24
Alibaba近日推出了其最新版本的大语言模型Qwen-3.8-27B,该模型在复杂任务处理和决策能力方面表现出色,吸引了开发者的广泛关注。尽管模型在处理过程中表现出一定的延迟,但其独立完成复杂重构任务的能力令人印象深刻。Qwen-3.8-…
智客信息 · 2026-09-23
PyTorch团队近日宣布推出vLLM硬件无关模型,旨在通过优化AI模型的硬件兼容性,提升推理性能并降低计算成本。该技术通过抽象化硬件细节,使AI模型能够在不同类型的硬件平台上高效运行,从而减少对特定硬件的依赖并提升资源利用率。这一发布为A…
智客信息 · 2026-09-23
Parity推出DeepSeek V4自托管解决方案,旨在帮助软件工程组织更高效地利用AI技术提升开发效率与生产力。该方案支持在本地环境中部署DeepSeek V4模型,为企业提供更高的数据隐私保障和定制化能力,同时优化了AI模型在资源受限…
智客信息 · 2026-09-23
本文由AI研究者Swapnil Talekar撰写,深入探讨了在本地设备上运行大语言模型(LLMs)的权衡与优化策略。文章从性能、能耗、延迟和隐私等多个维度分析了本地运行LLMs的挑战,并提出了相应的解决方案,例如通过模型量化、剪枝和高效的…
智客信息 · 2026-09-23
Hugging Face宣布其Transformers库现已支持llama.cpp的量化模型,这项集成将显著提升大语言模型的推理效率。llama.cpp通过量化技术将模型体积大幅缩减,同时保持高性能表现。此次集成不仅为开发者提供了更高效的推…
智客信息 · 2026-09-21
G-FTech发布了一篇关于vLLM(高效大语言模型推理引擎)的深度技术文章,详细解析了其架构设计、内存管理机制以及性能基准测试结果。vLLM通过创新的内存优化策略和高效的推理流水线,在处理大规模语言模型时实现了显著的性能提升和资源节省。文…
智客信息 · 2026-09-20
本文对四款自托管推理编排工具——LocalAI、exo、GPUStack 和 vLLM 进行了详细对比,涵盖其架构设计、性能表现、扩展性以及适用场景等方面。这些工具旨在帮助开发者更高效地部署和管理本地 AI 模型推理任务,尤其适用于对数据隐…
智客信息 · 2026-09-17
Reddit社区LocalLLaMA发布了一项关于vLLM的新技术研究,该技术通过在智能体对话轮次之间保持前缀缓存(Prefix Cache)的活跃状态,显著提升了AI推理的效率。研究表明,该方法能够减少重复计算,优化资源利用,尤其适用于需…
智客前沿 · 2026-09-13
LlamaIndex 发布了关于如何在本地部署 Mistral AI 的 Mixtral 8x7B 模型并结合其工具构建私有 RAG 管道的详细指南。该指南介绍了如何利用 Ollama 简化模型本地安装,并结合 Qdrant 向量数据库和 …
智客信息 · 2026-09-10
Glq是一款基于vLLM插件的LLM(大型语言模型)量化优化方案,采用树状量化技术,旨在提升大语言模型的推理效率并降低计算资源消耗。该项目已在GitHub开源,为开发者提供了一种轻量级、高性能的LLM推理优化工具,尤其适用于资源受限或对推理…
智客信息 · 2026-09-09
vLLM项目发布了0.29.0版本,其核心更新是将Model Runner V2设为默认版本。Model Runner V2通过优化模型执行流程和提升资源利用效率,显著改善了大规模语言模型(LLM)的推理性能。该版本还引入了多项改进,包括更…
智客信息 · 2026-09-09
vLLM团队发布了一款针对Tenstorrent硬件优化的插件,旨在提升大语言模型(LLMs)的推理效率。该插件通过优化硬件资源调度与模型执行流程,充分利用Tenstorrent芯片的并行计算能力,显著降低了推理延迟并提高了吞吐量。这一技术…
智客信息 · 2026-09-07
vLLM团队宣布在AMD GPU上实现推测解码技术,这一创新旨在优化AI模型的推理效率。通过推测解码,AI系统能够在不牺牲准确性的前提下,提前预测并处理部分计算任务,从而显著减少推理延迟并提升整体性能。该技术特别适用于对实时性要求较高的应用…
智客信息 · 2026-09-07
Reddit用户vagrillo在GitHub上开源了针对llama.cpp的MoE(稀疏专家模型)专家扩展技术。该扩展通过增加路由专家数量、引入自适应阈值和影响力衰减机制,显著提升了稀疏专家模型的推理效率。初步测试表明,该技术在Qwen …
智客信息 · 2026-09-06
Reddit用户t4a8945发布了一款名为Cache Pressure的开源工具,用于评估本地大语言模型(LLM)部署中的KV缓存管理效率。该工具通过模拟缓存压力环境,精确测量缓存保留的token数量,帮助开发者识别缓存管理中的问题并验证…
智客信息 · 2026-09-06
Reddit用户vagrillo在GitHub上开源了针对llama.cpp的MoE(稀疏专家模型)专家扩展技术。该扩展通过增加路由专家数量、引入自适应阈值和影响力衰减机制,显著提升了稀疏专家模型的推理效率。初步测试表明,该技术在Qwen …
智客信息 · 2026-09-06
Reddit用户vagrillo在GitHub上开源了针对llama.cpp的MoE(稀疏专家模型)专家扩展技术。该技术通过增加路由专家数量、引入自适应阈值和影响力衰减机制,显著提升了稀疏专家模型的推理效率。测试表明,该扩展在Qwen 3.…
智客信息 · 2026-09-05
GitHub用户Brantje发布了一款名为LlamaRack的开源项目,旨在为基于llama.cpp的AI推理任务提供加速支持。该项目通过优化推理流程和资源管理,提升了AI模型在本地或服务器环境中的运行效率,尤其适用于资源受限的设备或需要…