TPU v3-8 和 v5e-8 有什么不同？
2 分•作者: sr5434•8 个月前
Kaggle 宣布他们将 TPU v3-8 替换为 v5e-8，但出于某种原因，当我在 v5e-8 上运行代码时会遇到 OOM（内存溢出）错误，而在 v3-8 上运行时却没有。有人知道这可能是什么原因吗？ 供参考，我正在使用 Torch XLA 训练一个 15 亿参数的 GPT 模型。
查看原文
Kaggle announced that they are replacing their TPU v3-8s with v5e-8s, but for some reason I get an OOM when running my code on v5e-8 and not when running it on v3-8. Does anybody know why this might be happening? For reference, I am training a 1.5b GPT model using Torch XLA