最新

不久前，我开始着手 Colibrì 项目，旨在探索在普通计算机上运行大型语言模型（LLM）的可能性。该项目的发展远超我的预期，这很大程度上得益于 HackerNews 社区的贡献。 这引出了我一个新的问题： 如果我们不再局限于一台计算机呢？ 这便是 Lumabri 的核心理念。 Lumabri 不再要求单台机器存储和运行整个大型模型，而是将一个普通计算机网络视为一个共享的资源池。 一台机器可能提供磁盘空间，另一台提供计算能力，还有一台提供模型的不同部分。如果本地没有所需的模块或专家，系统可以从对等节点检索或执行它。 这一点对于混合专家模型（Mixture-of-Experts models）尤其有意义。一个模型可能拥有数千亿个参数，但对于每个 token，只有一小部分会被激活。Lumabri 可以将激活信息发送给已经拥有该专家的对等节点，让其执行，而不是在网络上传输巨大的专家权重。 其目标是让机器贡献它们力所能及的资源，同时利用整个“蜂群”来满足其余需求。 这个想法深受点对点（peer-to-peer）系统的启发：用户即基础设施。 当然，这其中存在重大的挑战，尤其是网络延迟和安全性。我正在尝试对等验证、SHA-256 验证、签名模型状态、副本选择、故障转移和确定性执行等技术。 Lumabri 仍处于早期实验阶段。我没有数据中心或庞大的 GPU 集群，所以我用我现有的硬件进行构建，并试图弄清楚这个想法是否真的可行。 通过 Colibrì，我曾问： 一台普通计算机能运行一个大型语言模型吗？ 通过 Lumabri，我正在问： 如果许多普通计算机可以融合成一台巨大的计算机呢？ 欢迎反馈。 代码库：<a href="https://github.com/JustVugg/lumabri" rel="nofollow">https://github.com/JustVugg/lumabri</a>

我不想购买一台独立的电脑，也不想将一台笔记本电脑改造成一直运行的设备来同步我的大型语言模型，所以我自己动手做了这个。<p>这是一个关于我系统的简单概述，以一种易于理解和复制的方式呈现。该项目旨在根据个人需求进行配置，因为一种解决方案可能并不适合所有人。<p>如果有什么能给你带来启发，也许能让你在自己的项目中找到实现思路。<p>祝好，Ryan。