最新

我一直在寻找尝试参数量小于 5 亿的语言模型，但你找不到任何可以试用的 API。所以我搭建了这个由 Cloudflare 托管的静态网站，它托管着模型权重，并为这些模型构建了一个推理运行时，该运行时使用 WebGPU，并在你的浏览器中运行推理。 这些模型在多轮对话中用处不大，但看看你能在小于 250MB 的模型中塞入什么内容仍然很有趣。 我之前尝试过使用 ONNX 版本，但将它们与语言模型一起使用存在太多问题，而且每秒处理的令牌数 (TPS) 也不太理想。受到 svenflow/webgpu-gemma 的启发，我让我的 codex 和 claude 编写 WGSL 代码，以运行这些模型的 GGUF 版本的推理。 一旦你加载了这个网站和一个模型，它也应该离线加载，直到你的浏览器从缓存中清除该模型。