最新

H100 的 9 倍价格差异是真实存在的，但进行比较时需要谨慎。每小时 1.38 美元的价格通常是预留或承诺的算力。而每小时 12.29 美元的价格是在主要云服务提供商处按需购买，其中包含了完全的灵活性溢价。 更有意义的比较是针对持续高利用率团队的 3 年总拥有成本（TCO）。在 1000 个 GPU 上实现 85% 的利用率时，位于二线市场的专用托管基础设施，在考虑所有非计算成本后，通常是同等云成本的 40%-60%。这个范围取决于您的内部运营开销和融资成本。 大规模部署时，芯片本身的成本仅占总成本的 20%-25%。其余部分是基础设施、电力、网络、运营和管理费用。这就是为什么设施选址比人们预想的更重要的原因。

大家好， 我一直以来都有种预感，基于“坏人”控制的 LLM 的软件将会面临一场战争。LLM 已经非常擅长发现安全漏洞，而在坏人手中，它们可能会严重破坏我们都依赖的公共基础设施。不幸的是，我感觉 OSS（开源软件）可能会成为第一个“牺牲品”，因为代码就在那里，很容易被识别。 我现在推出了 zeroquarry.com，供开源维护者在坏人之前扫描他们自己的代码。您只需提供自己的 LLM 密钥，我将支付至少未来几个月的托管基础设施、开发成本等费用。<i>大多数</i>扫描使用前沿模型，大约需要 5-20 美元的 token。 演示视频：<a href="https:&#x2F;&#x2F;youtu.be&#x2F;bbLYw7j90hA" rel="nofollow">https:&#x2F;&#x2F;youtu.be&#x2F;bbLYw7j90hA</a> 目前，我只专注于 OSS 并收集关于产品的反馈：没有付费选项。您提供您的 API 密钥，选择您的模型，然后运行。为了避免滥用，我目前将扫描限制为每月 2 次，默认情况下一次只能进行 1 次并发扫描。但如果您是 OSS 项目的维护者，并且希望提高限制，请联系我并提供关于您项目的详细信息，我会根据需要尽可能提高限制。电子邮件地址是该域名的 shane。 我本来打算推迟发布，但这已经是我几个月来一直在做的事情，而 Mythos 的新闻确实促使我加快了速度。欢迎在此处或上述电子邮件地址提供反馈。

我和我的同事朋友一起制作了一个小型的 Bash 命令行工具，它会在终端里打印一条随机的软件工程定律。我把它放在 shell 启动脚本里，这样每次打开新的 shell 都会看到一条定律。它从 lawsofsoftwareengineering.com 获取这些定律，并在本地进行缓存。