智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #JVM #AI推理引擎 #Quixotic AI #多模态AI #GraalVM

Quixotic AI发布jinfer:首个JVM原生AI推理引擎实现AI‘即开即用’

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 19 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Quixotic AI推出jinfer,这是一款专为JVM设计的AI推理引擎,支持聊天、视觉、音频、嵌入、重新排序和文本转语音等功能。该引擎无需依赖Python运行时、ONNX、Docker容器或进程间通信(IPC),实现了真正的‘AI in a jar’。jinfer集成了Spring AI和LangChain4j,并兼容GraalVM原生镜像,提供低延迟、高性能的AI服务。其早期版本仅支持CPU,团队欢迎开发者对API设计提出反馈。


核心产品与功能亮点

  • JVM原生AI推理引擎:jinfer是专为Java虚拟机(JVM)设计的AI推理引擎,填补了JVM生态系统中AI推理工具的空白。
  • 多模态支持:支持聊天、视觉、音频、嵌入、重新排序和文本转语音(TTS)等功能,满足多样化AI应用需求。
  • 无依赖性设计:无需依赖Python运行时、ONNX、Docker容器或进程间通信(IPC),实现了真正的‘AI in a jar’体验。
  • 高性能计算:集成了纯Java实现的tokenizer(toknroll)、gguf/safetensors格式支持、量化矩阵乘法内核(jam)以及多平台Tensor API(jota),在CPU上性能可与llama.cpp媲美。
  • 集成与兼容性:内置Spring AI和LangChain4j集成,并兼容GraalVM Native Image,支持低开销、自包含的二进制文件,实现毫秒级启动。

技术价值与行业影响

jinfer的发布标志着AI技术在JVM生态系统中的重大突破,为Java开发者提供了更便捷的AI集成方案。其无依赖性设计不仅降低了AI应用的复杂性,还提升了系统的安全性和可维护性。此外,jinfer的架构设计使其能够无缝集成到现有的企业级应用中,为AI在金融、医疗、制造等领域的应用提供了新的可能性。

开发者建议

  • API反馈:由于jinfer目前处于早期发布阶段,团队特别希望开发者对API设计提出反馈,以帮助优化产品。
  • 性能测试:建议在不同的硬件和负载条件下进行性能测试,以评估jinfer在实际应用中的表现。
  • 集成实验:尝试将jinfer集成到现有的Java应用中,评估其易用性和兼容性。

未来展望

随着jinfer的不断迭代和优化,Quixotic AI计划扩展其对GPU的支持,并增加更多AI模型和工具的集成。此外,团队还计划推出企业版,提供更高级的安全性和性能优化功能。


消息来源:GitHub AI Trending Releases (2026-09-15)

—— 完 ——

主题标签: #JVM #AI推理引擎 #Quixotic AI #多模态AI #GraalVM

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…