最新

上周，我们几个人从零开始预训练了一个拥有 1500 万参数的语言模型—— 它已经超出了 Chinchilla 最优的 token 预算——没有集群，没有服务器，也没有预算。训练协调器是一个 GitHub Actions 的 cron 作业。梯度是 pull requests。最终，一个我们从未见过的人加入了进来，并训练了其中的 2300 万个 token。 github.com/commonsense-ai/coop — 模型 + 卡片 · huggingface.co/commonsense-ai/tinystories-15m — 梯度收件箱 — 排行榜

CCN Strips 会从代码库中移除注释，并且**仅移除**注释。它不是一个可能吞噬你代码的正则表达式解析器，而是实际生成一个列表并**仔细检查**。 作为一名真正的开发者，我经常在自己的代码库中留下零散的注释，然后就忘记它们了。而 AI 模型会留下**兆字节**的注释，并且**没有记忆**，有时甚至将注释作为一种**形式**来使用。 使用这个工具来清理你代码库中的“垃圾”，或者用它来审查代码，非常有用。它经过端到端测试，并经过 2700 次迭代验证（你可能不在乎这些，但它确实有效，即使在 Debian Trixie 的 XFCE 桌面环境下也一样，这才是重要的，而不是我发布前从代码库中移除的数千个测试，用户根本不在乎）。 正如 Stallman 臭名昭著地说过的…… 祝你编码愉快 ;)

<a href="https://xcancel.com/karpathy/status/2083749667410727319" rel="nofollow">https://xcancel.com/karpathy/status/2083749667410727319</a>

构建一个由 19 个代理组成的、并行工作的 3 层工作流，使用一个单一的提示来研究我想要的任何内容。 如果我没有指定任何主题，它可以向我提出一些主题并等待我的回复。