1 分•作者: mlboy•大约 1 年前
EdgeLLM 是一个 Swift Package,将 Qwen-0.6 B、Gemma-2 B 和 Phi-3.5-Mini 嵌入到一个 300 MB 的 XCFramework 中。
只需在 Package.swift 中添加一行代码,无需运行时下载,即可在飞行模式下运行。 性能测试:在 iPhone 15 Pro 上,速度分别为 32/18/15 tokens/秒。
采用 Apache-2.0 协议,支持自带模型(BYOM)。 路线图包括 10 MB 运行时 + Android 支持。
欢迎提问!