GPU 每小时 2.25 美元或 12.29 美元：决定价格的基础设施层
1 分•作者: jaynamburi•大约 2 小时前
H100 的 9 倍价格差异是真实存在的，但进行比较时需要谨慎。每小时 1.38 美元的价格通常是预留或承诺的算力。而每小时 12.29 美元的价格是在主要云服务提供商处按需购买，其中包含了完全的灵活性溢价。
更有意义的比较是针对持续高利用率团队的 3 年总拥有成本（TCO）。在 1000 个 GPU 上实现 85% 的利用率时，位于二线市场的专用托管基础设施，在考虑所有非计算成本后，通常是同等云成本的 40%-60%。这个范围取决于您的内部运营开销和融资成本。
大规模部署时，芯片本身的成本仅占总成本的 20%-25%。其余部分是基础设施、电力、网络、运营和管理费用。这就是为什么设施选址比人们预想的更重要的原因。
查看原文
The 9x price spread on H100 is real but the comparison requires some care. The $1.38/hr end is typically reserved or committed capacity. The $12.29/hr end is on demand at major cloud providers with full flexibility premium built in.<p>The more meaningful comparison is 3-year TCO for a team running consistent utilization. At 85% utilization on 1,000 GPUs, dedicated colocated infrastructure in a secondary market typically runs 40-60% of equivalent cloud cost after accounting for all non-compute costs. That range depends on your internal ops overhead and financing cost.<p>The silicon itself is 20-25% of total cost at scale. The rest is infrastructure, power, networking, ops, and overhead. That's why facility location matters more than people expect.