返回首页

一周热榜

8作者: ericlbuehler3 天前
大家好! 我是 mistral.rs 的维护者。我刚刚为 OpenAI 兼容的 Agent Skills 添加了支持,通过 `/v1/skills` 端点实现,并且可以在本地的开放模型上运行。 到目前为止,Skills 主要局限于闭源模型。随着私有化、本地化智能的重要性日益增加,这项功能将允许您使用本地模型执行 XYZ 操作。 它与 OpenAI 的 `/v1/skills` API 完全兼容,因此您可以轻松地将 mistral.rs 集成到您现有的代码中。 我们还支持相关的工具:`/v1/files` 或 `input_file` 用于将文件附加到您的提示中,并且 mistral.rs 还允许模型使用 OpenAI 兼容的方法将生成的文件发送回来。 现在尝试 mistral.rs 比以往任何时候都更容易:我们提供了 NVIDIA CUDA、Apple Silicon 和 CPU 的预编译二进制文件! # Linux/Mac > curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh # Windows > irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex 然后: mistralrs serve --agent --isq 4 -m google/gemma-4-E4B-it 我非常期待您试用这项功能并提供反馈!您对下一版本有什么建议吗? 查看 GitHub:https://github.com/EricLBuehler/mistral.rs 文档和快速入门:https://ericlbuehler.github.io/mistral.rs/