最新

寻找擅长处理 DMCA 反通知和 MIT 协议分支争议的知识产权律师。 人在马里兰州，但接受远程办公。 非常感谢任何推荐。

简而言之：是的。 Emotion Engine 总共有 32 MB 的 RAM，所以诀窍是在前向传播过程中，一次从 CD-ROM 流式传输权重矩阵——只有激活值、KV 缓存和嵌入驻留在 RAM 中。这意味着比 RAM 内存更大的模型仍然可以运行，它们只是从光盘读取更多数据。 不得不构建一个自定义的量化格式（PSNT），破解字节序，从头开始编写一个分词器管道，以及 PS2 SDK 的大部分内容（将单独发布）。模型本身也是自定义的——一个 1000 万参数的 Llama 风格架构，我专门为此训练的。 而且它确实有效。在真正的硬件上。