1作者: mukel9 天前
各位 HN 用户: 有人可能会认为在 JVM 上运行 AI 是异想天开。Quixotic AI 因此而生。 jinfer 是一个面向 JVM 的推理引擎,支持聊天、视觉、音频、嵌入、重排序和 TTS。无需 Python 运行时、ONNX、Docker 容器、sidecar 进程或 IPC。终于,AI 可以装在一个 JAR 包里了。 其底层技术栈是为 JVM 而生,而非强加于其上: * **toknroll**:纯 Java 分词器,零依赖。 * **gguf / safetensors**:读写 llama.cpp 和 HuggingFace 模型格式。 * **jam**:量化矩阵乘法内核,在 CPU 上性能可与 llama.cpp 相媲美。 * **jota**:面向 Java、C、CUDA、HIP、Metal、OpenCL 和 Mojo 的张量 API。 它集成了 Spring AI 和 LangChain4j,并兼容 GraalVM Native Image,可生成低开销、自包含且启动时间仅需毫秒级的二进制文件。 这是一个早期版本(仅支持 CPU):我特别希望获得关于 API 界面的反馈。 网站:https://qxotic.ai 代码库:https://github.com/qxoticai/qxotic