2 分•作者: mdp2021•9 天前
返回首页
最新
2 分•作者: num42•9 天前
2 分•作者: kangjl888•9 天前
2 分•作者: sealin•9 天前
2 分•作者: renehsz•9 天前
1 分•作者: mukel•9 天前
各位 HN 用户:
有人可能会认为在 JVM 上运行 AI 是异想天开。Quixotic AI 因此而生。
jinfer 是一个面向 JVM 的推理引擎,支持聊天、视觉、音频、嵌入、重排序和 TTS。无需 Python 运行时、ONNX、Docker 容器、sidecar 进程或 IPC。终于,AI 可以装在一个 JAR 包里了。
其底层技术栈是为 JVM 而生,而非强加于其上:
* **toknroll**:纯 Java 分词器,零依赖。
* **gguf / safetensors**:读写 llama.cpp 和 HuggingFace 模型格式。
* **jam**:量化矩阵乘法内核,在 CPU 上性能可与 llama.cpp 相媲美。
* **jota**:面向 Java、C、CUDA、HIP、Metal、OpenCL 和 Mojo 的张量 API。
它集成了 Spring AI 和 LangChain4j,并兼容 GraalVM Native Image,可生成低开销、自包含且启动时间仅需毫秒级的二进制文件。
这是一个早期版本(仅支持 CPU):我特别希望获得关于 API 界面的反馈。
网站:https://qxotic.ai
代码库:https://github.com/qxoticai/qxotic
1 分•作者: genshro•9 天前
1 分•作者: NicoJuicy•9 天前
2 分•作者: eternal_braid•9 天前
1 分•作者: robsanna•9 天前
53 分•作者: networked•9 天前
1 分•作者: the-mitr•9 天前
1 分•作者: rust42•9 天前
1 分•作者: namjh•9 天前
1 分•作者: soltanov•9 天前
1 分•作者: jonbaer•9 天前
2 分•作者: AntonZ234•9 天前
1 分•作者: vaishnavsm•9 天前
我昨天升级到了 iOS 27。
我之前关闭了 Siri。
升级后,Siri 现在被启用了。
这是个 bug 还是有意为之?我没找到任何相关信息。
1 分•作者: adulau•9 天前
1 分•作者: rdmuser•9 天前