智客前沿 · 2026-11-17
SageMaker实时端点上线KV感知路由,精准复用长上下文缓存
Amazon SageMaker AI 为实时端点新增 KV_AWARE 路由。模型容器通过事件流上报 KV Cache 的写入与淘汰,托管索引仅保存截断单向哈希和实例指针;请求到达后,系统按可复用的最长 Token 前缀匹配候选,并结合实…
智客专题 本地大模型专题
本地部署大模型的硬件选型、量化方案、推理引擎(vLLM / Ollama / llama.cpp)与生产案例。
· 2026年8月10日 #本地部署#本地大模型#量化#vLLM#Ollama#llama.cpp#llama-cpp#LM Studio · 30 / 113 篇内容
智客前沿 · 2026-11-17
Amazon SageMaker AI 为实时端点新增 KV_AWARE 路由。模型容器通过事件流上报 KV Cache 的写入与淘汰,托管索引仅保存截断单向哈希和实例指针;请求到达后,系统按可复用的最长 Token 前缀匹配候选,并结合实…
智客信息 · 2026-11-14
NVIDIA展示了通过vLLM在两台DGX Station上部署GLM-5.3的推理方案,报告吞吐量达到607.8 tok/s。该案例的核心价值不只是刷新单次吞吐数字,而是说明超大模型在多节点场景下可通过张量并行、连续批处理与高效KV Ca…
智客信息 · 2026-11-14
ggml-org 发布 ggml v1.0.0,将这一面向大模型本地推理的开源 C/C++ 张量与执行后端推进至稳定版本。其核心价值在于为量化模型加载、CPU/GPU 混合执行、硬件后端适配以及模型转换建立更稳定的接口基线,有助于降低生产集…
智客前沿 · 2026-11-13
ggml-org 发布 llama.cpp v1.0.0,将这一广泛用于本地部署大模型的开源 C/C++ 推理框架推进至 1.0 稳定版本。其核心价值不只是版本号变化:为模型格式转换、量化、GPU/CPU 混合推理及多后端适配建立更稳定的兼…
智客前沿 · 2026-11-11
Cloudflare 在 Clef-flash(9B)与 Clef(27B)的量化比较中加入“噪声底”:固定同一批 2,400 个公开决策,分别测量推理引擎切换、服务重启、批大小变化及 Gated DeltaNet 内核自动选择造成的输出翻…
智客信息 · 2026-11-11
Frigade 开发者 Eric 推出 MIT 许可的跨平台桌面应用 Yogurt,在后台捕获会议音频,并使用本地模型完成转录、摘要和笔记问答。应用以 whisper.cpp 或 Apple SpeechAnalyzer 进行语音识别,通过…
智客信息 · 2026-11-11
llama.cpp 社区新增 FP8 KV Cache 支持,目标是压缩自回归推理中随上下文长度增长的键值缓存。该方案以 8 位浮点保存 K/V 状态,可降低长上下文和高并发场景的显存压力,但实际收益取决于硬件是否支持高效 FP8 转换,以…
智客前沿 · 2026-11-10
研究提出一种按需精度解码机制:模型权重以8比特存储,多数解码步骤只读取高4位;当低精度输出分布熵过高或前两名概率差过小时,再以8比特重算当前步骤。研究在Qwen3-0.6B和GSM8K上模拟量化,以36,724个回放步骤验证异常检测能力:熵…
智客前沿 · 2026-11-10
一项面向 Mistral-7B 与 Llama-3.1-8B 的研究提出:不修改模型权重,而是利用 RoPE 注意力中不同频率平面的几何特性,将原本处于训练长度之外的远端 KV 映射回已训练的位置范围。系统保留 8K 近端窗口的真实位置,并…
智客前沿 · 2026-11-10
LoRazor面向共享骨干模型上的多LoRA并发服务,提出请求生成早期即永久释放已无必要的适配器,并通过active-row aware GPU内核动态收缩LoRA算子启动规模,避免空闲计算块继续占用资源。论文在两个骨干模型和四项任务上报告…
智客前沿 · 2026-11-10
论文在 vLLM 上复现大模型服务过载场景,发现客户端与代理层自动重试会持续制造额外执行;即使请求量已低于服务容量,单纯传播取消也未能在任何实验中恢复服务,过载后仅有12%至38%的调用获得交付。调度轨迹显示,重试通常在超时前不足0.5秒启…
智客前沿 · 2026-11-10
ChainFlow 是一种以目标模型隐藏状态为条件的新型推测解码草稿器。它把草稿生成建模为潜空间中的短程流传输,仅需一至两步即可生成候选 Token;变分自编码器负责压缩目标隐藏状态,反馈头恢复 Token 间依赖,树状草稿则提高验证接受率…
智客前沿 · 2026-11-09
研究在vLLM上复现大模型服务过载与客户端重试场景,发现请求即使降至容量以下,引擎也可能因重试新增执行而无法恢复。开启重试后,单靠取消传播未能恢复任何一次实验,过载后请求的交付率仅为12%至38%。调度轨迹显示,重试通常在超时前不足0.5秒…
智客前沿 · 2026-11-09
ChainFlow提出一种以目标模型隐藏状态为条件的新型推测解码草稿器,将草稿生成从自回归逐Token预测或扩散去噪改写为短程连续流传输。其VAE先压缩隐藏状态,轻量反馈头恢复Token间依赖,再以树状候选提高接受率;论文称在vLLM中相对…
智客前沿 · 2026-11-06
BlockLock通过固定受保护请求在批处理中看到的数值路径,解决同一请求因同批次其他请求变化而产生不同输出的问题。框架包含BlockLock-Rows与BlockLock-Pack两种模式:前者使用固定宽度行并保留批量解码,后者采用终端锚…
智客前沿 · 2026-11-03
arXiv发布了一种针对大模型后训练量化(PTQ)的新方法,通过将权重分解为量化矩阵、低秩组件和稀疏矩阵,有效补偿了量化误差。该方法利用模拟退火搜索优化分解方案,在多个大语言模型(如Llama 3.2系列和Qwen2.5 7B)上进行了测试…
智客前沿 · 2026-10-30
Flide面向决策模型与LLM智能体中的树状查询,将逻辑依赖树与扁平化Token流的物理执行解耦,并通过GPU常驻索引实现ForkAttention,在精确算术下保证各查询分支与独立前向传播等价。该方法同时支持标准Attention与Gat…
智客信息 · 2026-10-30
vLLM 项目在最新的 nightly 版本中引入了 PLE(Persistent Lazy Execution)磁盘卸载支持,旨在优化大模型推理性能。该功能通过将部分计算任务卸载到磁盘,减少 GPU 显存占用,从而支持更大规模的模型部署和…
智客前沿 · 2026-10-28
Hugging Face团队提出了一种名为WISD(Weakening-Induced On-Policy Self-Distillation)的新型自蒸馏框架,通过构建原始模型的弱化版本并利用两者间的对比信号进行训练,而无需依赖特权信息。…
智客前沿 · 2026-10-28
ResCom是一种用于大语言模型量化的新型低秩校正方法,通过利用激活舍入残差补偿层输出误差,从而在保持低比特权重和激活量化的同时,显著提升模型精度。该方法在4比特量化的Llama-3-8B模型上进行了验证,实验结果显示,ResCom在Wik…
智客信息 · 2026-10-26
Hob是一款由FrigadeHQ开源的桌面应用,支持Mac、Windows和Linux平台,旨在作为ChatGPT和Claude的本地化替代方案。该应用使用开源模型(如Gemma 4和gpt-oss),所有数据均保留在用户设备上,仅在需要时…
智客前沿 · 2026-10-24
Ollama宣布支持语音模型,首个集成的是来自Gradium的Phonon。该模型支持五种语言的文本转语音功能,提供数十种语音选择,并能在Apple Silicon设备上以超过实时100倍的速度流式生成语音。这一技术突破为多语言语音交互应用…
智客前沿 · 2026-10-19
Cloudflare开发的27B参数多模态决策模型Clef现已通过Ollama平台开放使用。用户可以选择在本地运行或利用Ollama的云服务进行部署。Clef支持多模态数据处理,涵盖文本、图像等多种输入形式,旨在为复杂决策任务提供高效解决方…
智客信息 · 2026-10-19
Cohere宣布其最新模型架构已全面支持llama.cpp,包括North Micro Vision Instruct的视觉编码器。这一举措标志着Cohere模型在本地化部署和开源社区中的进一步兼容性和可扩展性提升。llama.cpp的支持…
智客前沿 · 2026-10-19
vLLM开源推理引擎引入了双向KV缓存传输机制,通过允许预填充节点和解析节点跨轮次重用之前计算的上下文数据,显著降低了首次令牌生成时间(TTFT)。在Amazon EC2 P5en实例上的基准测试显示,该机制在多轮对话场景下将Qwen3-3…
智客前沿 · 2026-10-19
vLLM开源推理引擎引入了基于推送的KV传输机制,通过优化KV缓存传输流程,显著提升了大规模语言模型(LLM)的推理性能。在Amazon EC2 P5en实例上的基准测试显示,新机制将首次令牌生成时间(TTFT)提高了3倍,每输出令牌处理时…
智客信息 · 2026-10-13
AnythingLLM宣布将AI智能体解决方案从Ollama迁移至Lemonade嵌入式SDK与llama.cpp。这一转变旨在利用Lemonade SDK的本地化部署能力,提升AI智能体的运行效率与数据隐私性,同时借助llama.cpp的…
智客前沿 · 2026-10-13
Ollama与Fly.io达成合作,将Ollama的云端模型安全地集成到Fly.io的云计算机中,使AI智能体能够在受保护的环境中运行。这一合作旨在提升AI智能体的运行安全性与效率,为开发者提供更可靠、更高效的智能体部署方案。
智客前沿 · 2026-10-13
AWS工程师团队在Amazon SageMaker AI平台上实现了针对融合型混合专家(MoE)模型的内核优化,包括Swap-AB矩阵转置优化以提升WGMMA利用率、基于Triton后端的FP8量化路由优化,以及消除Triton JIT重新…
智客前沿 · 2026-10-12
AWS发布了一篇技术指南,介绍如何通过llama.cpp在Amazon SageMaker AI上部署决策模型。该方案支持OpenAI兼容的聊天生成,并可通过SemIf扩展返回返回选项的概率分布,适用于CPU与GPU环境。方案包括标准文本生…