Qxotic AI开源jinfer:专为JVM设计的AI推理引擎
文 / Mr.Xu 社区投稿
发布时间: · 17 次阅读
摘要:Qxotic AI团队发布了jinfer,这是一款专为Java虚拟机(JVM)设计的AI推理引擎,旨在填补JVM生态在AI领域的空白。jinfer支持多种AI任务,包括聊天、视觉、音频转录、嵌入、重新排序和文本转语音(TTS),并集成了Spring AI和LangChain4j等工具。相较于传统依赖Python和ONNX的方案,jinfer无需额外运行时或包装器,提供纯JVM解决方案。其早期版本在CPU性能上已与llama.cpp相当,GPU支持正在开发中,为JVM开发者带来了更高效的AI应用开发体验。
核心亮点
- 专为JVM设计:jinfer是首个为Java虚拟机(JVM)设计的AI推理引擎,填补了JVM生态在AI领域的空白。
- 全栈支持:支持聊天、视觉、音频转录、嵌入、重新排序和文本转语音(TTS)等多种AI任务。
- 无需依赖:无需Python运行时、ONNX或额外包装器,提供纯JVM解决方案。
- 高性能工具集:
- Tok'n'Roll:纯Java实现的快速分词器,零依赖。
- gguf / safetensors:原生支持主流模型格式的读写。
- jam:量化矩阵乘法例程,在CPU上与llama.cpp竞争。
- jota:支持Java、C、CUDA、HIP、Metal、OpenCL和Mojo的Tensor API。
- 集成与支持:与Spring AI和LangChain4j无缝集成,并支持GraalVM Native Image。
技术解析
jinfer的发布标志着JVM生态在AI领域的重大突破。传统上,AI模型和框架主要基于Python和ONNX,而jinfer通过提供纯JVM解决方案,消除了对外部依赖的需求。其核心组件包括Tok'n'Roll分词器、gguf/safetensors格式支持和jam量化矩阵乘法例程,这些组件共同提升了AI推理的性能和效率。
行业影响
- JVM开发者福音:为JVM开发者提供了更高效的AI应用开发工具,无需切换到Python生态系统。
- 跨平台优势:纯JVM解决方案简化了跨平台部署的复杂性。
- AI与Java生态融合:促进了AI技术与Java生态的深度融合,为企业级应用提供了新的可能性。
开发者建议
- 关注GPU支持:尽管当前版本主要针对CPU,GPU支持正在开发中,建议开发者关注后续更新。
- 参与社区:加入Qxotic AI的社区,参与讨论和贡献代码,以推动jinfer的进一步发展。
- 探索集成方案:尝试将jinfer与现有的Java框架和工具集成,探索新的AI应用场景。
—— 完 ——消息来源:Reddit r/LocalLLaMA (2026-09-15)
主题标签: #Qxotic AI #jinfer #JVM #AI推理引擎 #开源
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区