最新

各位 HN 用户： 有人可能会认为在 JVM 上运行 AI 是异想天开。Quixotic AI 因此而生。 jinfer 是一个面向 JVM 的推理引擎，支持聊天、视觉、音频、嵌入、重排序和 TTS。无需 Python 运行时、ONNX、Docker 容器、sidecar 进程或 IPC。终于，AI 可以装在一个 JAR 包里了。 其底层技术栈是为 JVM 而生，而非强加于其上： * **toknroll**：纯 Java 分词器，零依赖。 * **gguf / safetensors**：读写 llama.cpp 和 HuggingFace 模型格式。 * **jam**：量化矩阵乘法内核，在 CPU 上性能可与 llama.cpp 相媲美。 * **jota**：面向 Java、C、CUDA、HIP、Metal、OpenCL 和 Mojo 的张量 API。 它集成了 Spring AI 和 LangChain4j，并兼容 GraalVM Native Image，可生成低开销、自包含且启动时间仅需毫秒级的二进制文件。 这是一个早期版本（仅支持 CPU）：我特别希望获得关于 API 界面的反馈。 网站：https://qxotic.ai 代码库：https://github.com/qxoticai/qxotic