智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #OreoLook #缓存架构 #LLM #低延迟 #开源

OreoLook发布三层缓存架构:提升低延迟LLM驱动的Web搜索性能

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:OreoLook(前称lixSearch)推出了一种基于三层缓存架构的开源答案引擎,旨在解决AI驱动的Web搜索中会话上下文丢失、重复查询和URL嵌入冗余等问题。该架构包括会话上下文窗口、语义查询缓存和URL嵌入缓存,显著提升了缓存命中率并降低了内存开销。部署在单台8-vCPU Intel Cascade Lake服务器上,系统实现了89.3%的Redis键空间命中率,读取延迟仅0.1毫秒,内存开销仅为1.38MB。这种创新设计为低延迟、高性能的LLM驱动的Web搜索提供了新的解决方案。


OreoLook发布三层缓存架构:提升低延迟LLM驱动的Web搜索性能

OreoLook(前称lixSearch)近日推出了一种创新的三层缓存架构,旨在解决AI驱动的Web搜索中的一些关键问题,如会话上下文丢失、重复查询和URL嵌入冗余。以下是该架构的三大核心组件:

  1. 会话上下文窗口(Session Context Window):

    • 使用Redis维护近期消息的滚动窗口,并自动溢出到Huffman压缩的磁盘存档中。
    • 解决了会话上下文丢失的问题,确保用户对话的连贯性。
  2. 语义查询缓存(Semantic Query Cache):

    • 通过嵌入向量的余弦相似度捕捉查询的重新表述。
    • 消除了对LLM的冗余调用,提升了查询效率。
  3. URL嵌入缓存(URL Embedding Cache):

    • 在不同会话之间对URL嵌入计算进行去重。
    • 进一步降低了计算开销和内存占用。

该系统部署在一台8-vCPU Intel Cascade Lake服务器上(2 GHz,32 GB RAM),运行30个Hypercorn工作进程,分布在三个容器化副本中。评估结果显示,系统实现了89.3%的Redis键空间命中率,读取延迟仅为0.1毫秒,内存开销仅为1.38MB。此外,一个后台LRU驱逐守护进程将空闲会话从Redis迁移到磁盘,并在需要时重新加载,从而支持在配置的保留策略下恢复数小时或数天前的对话。

技术亮点解析

  • 高效缓存机制:通过三层缓存架构,显著提升了缓存命中率,减少了LLM的冗余调用。
  • 低延迟与低内存开销:在单台服务器上实现了高性能运行,适合资源受限的环境。
  • 会话持久化:支持长时间跨度的对话恢复,提升了用户体验。

行业影响与开发者建议

OreoLook的三层缓存架构为AI驱动的Web搜索提供了新的思路,尤其适用于需要处理大量用户查询和复杂会话的应用场景。对于开发者而言,以下几点值得注意:

  • 优化缓存策略:根据具体应用场景调整缓存策略,以达到最佳性能。
  • 资源管理:合理配置服务器资源,确保在高负载下系统的稳定性。
  • 用户体验:通过会话持久化功能,提升用户的使用体验和满意度。

结论

OreoLook的三层缓存架构展示了在AI驱动的Web搜索中实现高效、低延迟和高性能的可能性,为未来的AI应用开发提供了宝贵的参考。


消息来源:Hugging Face Daily Papers (2026-08-12)

—— 完 ——

主题标签: #OreoLook #缓存架构 #LLM #低延迟 #开源

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…