一周热榜

各位 HN 的朋友们： 在过去几个月里，我一直在阅读 RISC-V 规范，以构建尽可能轻量级的沙箱。vpod 的核心理念是能够快速地从快照（默认使用 Alpine Linux）启动一个 Linux 沙箱，而无需任何设置或子系统。 为了换取便携性和安全性，我们牺牲了原始 CPU 速度。因此，我们不期望它在 Python 或 pip 等原生工作负载方面能与之匹敌。 更多信息请参见 README： https://github.com/capsulerun/vpod 很乐意回答任何问题！

也许人们对发明和使用更多占用内存更少的先进算法和数据结构会产生更大的兴趣？

上个月，我似乎经历了企业IT故障频发的情况。例如，我妻子支付了我的房主保险费，但他们却将我的账单转交给律师进行催收，并取消了我的保单。（值得称赞的是，当我的代理人得知情况后，她成功地恢复了我的保单。）现在我有一个UPS包裹，似乎在蒙大拿州滞留了一周，但我从追踪器上看到的信息并不完全合理。 是我运气不好，还是其他人也遇到了这种情况？我们能怪“vibe coding”吗？我们现在生活在“Gas Town”了吗？

这是一个关于我如何启动一个面向约 60 名在等候名单上的热门用户的无限 LLM 提供商的故事，然后立即向他们提供了一个完全失灵的死循环模型，以及为什么大多数人非常合理地离开了，但由于一些非常友善的人仍然坚持下来，我们让项目得以继续，尽管仍然很混乱，但正在获得关注。 稍微回顾一下——我相信 AI 代理的全部意义在于它们应该持续工作。它们应该读取文件、重试、搜索、编码、总结、运行工具并循环直到任务完成。当你的雇主为你付费时，谁会在乎成本，但当涉及到我的个人金钱/爱好时，如果每一次循环都感觉像是一笔小小的财务支出，你就会开始像看管代理一样盯着它，而不是使用它，这并不好玩。 另一方面，按量计费让我担心使用过多。订阅式计费让我觉得我需要用尽每一分钱，否则我就是在“浪费它”。如果有一个无限提供商就好了…… 然后我加入了 AMD 开发者计划——我获得了一些积分，可以启动我自己的 MI300x，并开始在 AMD 上进行 vllm/sglang 推理服务的试验。 在了解了 AMD MI300x 之后，我做了一些草率的计算： 每小时租用 MI300x 2.00 美元 = 每月约 1500 美元。它大概可以支持约 150 名用户使用小型 MOE 模型，如 qwen-35b-3a，也许更多。 1500 美元 / 150 名用户 = 每月 10.00 美元，我们都可以以很小的价格玩代理。 你可以稍微超额订阅，所以我最终确定为每位用户每月 6 美元，提供 2 个生成槽位，128k 上下文，无 token 限制，无速率限制。 我构建了网站、路由器，创建了等候名单，然后将 MI300x 过度优化，以至于 vllm bench 的输出速度达到了 3k+，吞吐量达到了 40k+……但我没有测试最终的配置/服务命令……这就是我灾难性启动的地方。你无法提示它，否则它就会陷入循环或出现 bug，它被诅咒了。这就是我们失去许多人的地方。 幸运的是，我的朋友有几块 3090，所以他向我伸出了援手，开始为我们托管 qwen，使用 2 块 3090，我们终于有了一个可用的模型，而不会让我们可怜的 3 名用户每小时花费 2.00 美元。 我们开始吸引更多用户，所以我们升级到了 4 块 3090。我们还有很多空间容纳更多用户，但即便如此，从那时起： 我们配置 vllm 错误了大约 15 次 一块 GPU 坏了 我们停电了 我为 openclaw、hermes、pi-mono 制作了一堆一键启动，但它们都没有真正正常工作，这可能吓跑了人们。这些仍然在我们的网站上。 ……但那些懂行的人似乎非常喜欢这个价格点。总的来说，我们有大约 98% 的正常运行时间。已经过去一个月了。我们都学到了很多，即使我们已经有 SWE/SE/AI 的背景，但要对几个付费用户负责，迫使我们真正专注于为他们提供一个好产品。现在我认为我们可能快要能支付电费/托管费了，这样我们就不会亏本运营了（如果算上 3090 的资本支出，我们仍然亏本）。 我们的盈亏平衡点是迁移到云端以最大化利用 MI300x，它现在已经调优完毕，一旦我们获得用户就可以投入使用。 我发现，在某些领域，订阅我们的服务比运行模型更便宜（但作为一个热爱本地模型的人，我完全理解）。 从那时起，我一直在开发一个桌面代理，它实际上可以与 qwen 等小型模型一起工作——这将取代那些损坏的一键启动。它很基础，但它是开箱即用的东西。我将其开源了，你可以在这里看到我所说的：https://github.com/yolo-auto-org/yolo-auto-desktop，我们的网站是 yolo-auto.com，我们有一个糟糕的免费套餐来证明它有效！ 总之，希望你从中获得了一些乐趣或觉得有趣！如果你有任何问题，请随时提出。

我发现使用 Claude 进行基础生物学研究变得极其困难。我并非指任何与生物武器开发相关的研究，而是指一些非常直接的免疫学问题，这些问题几乎总是会被标记。 我完全理解设置安全防护的必要性，但实际上，这些防护措施会大大降低该工具在合法科学研究中的实用性。有时感觉这个模型更适合“氛围编码”（vibe coding），而不是作为一名严肃的研究助手。 更有趣的是，你可以将 Claude 的代码与 RFdiffusion 和 Alphafold 等分子设计模型结合起来开发真正的生物武器，但由于这属于软件领域，提示不会受到任何标记。 这些模型甚至可以在消费级 GPU 上运行，因此几乎没有访问限制。 是否有人有过类似的经历？