最新

大家好， 我是 axem 的联合创始人之一。我们最近开源了 Shaide，这是我们一直在努力的一个项目，旨在让在您自己的基础设施上运行多个 LLM 变得更加轻松。 最初的设想很简单。运行一个模型并不是难点。难点在于我们需要同时运行多个模型，在 GPU 节点之间独立扩展它们，在副本之间路由请求，并使整个设置可重现，而无需依赖外部云服务。 随着时间的推移，我们最终将大部分基础设施构建成了一个平台，并决定将其开源，而不是保留在内部。 当前设置： - vLLM 用于推理 - llm-d 用于多实例编排 - 多个模型独立运行和扩展 - KV 缓存感知调度 - 内部 OCI 注册表用于容器镜像 + 模型权重 - OpenAI 兼容 API - 整个平台作为基础设施即代码进行管理 - 交互式安装程序，可在现有 Kubernetes 集群上通过 Docker 运行 - 可完全气隙运行，无需集群出口 目前支持本地 RKE2 以及 EKS/GKE/AKS。 该项目采用 Apache 2.0 许可，仍处于早期阶段，随着更多人尝试，肯定会有一些变化。

我向 Reddit 支持部门申请了 API 密钥，以便通过 ereddicator 安全地删除我的数据。我如实填写了所有必填字段，并明确说明了我的目的。 这是他们的回复： 我们已审查您的访问请求。很抱歉，我们无法批准，因为您的提交不符合 Reddit 的负责任构建者政策，或/和缺少必要细节。

大家好！我刚刚发布了 sqlflow v1，其中包含了一个 Go 核心重写。 <a href="https://github.com/turbolytics/sql-flow" rel="nofollow">https://github.com/turbolytics/sql-flow</a> 这使得吞吐量比 Python 核心高出约 10 倍，并且内存使用更加可预测！这也使得用户更容易在资源受限的环境（例如物联网）中运行。 Go 重写还为处理后台 sqlflow 控制循环（例如窗口压缩和超时）带来了更多的稳定性。 我非常希望并感谢您的反馈，任何在生产环境中使用 sqlflow 的示例，或者您认为 sqlflow 对您来说不可用的顾虑！ 谢谢 Danny danny@turbolytics.io