1 分•作者: locusofself•3 个月前
我有一台配备 24GB 内存的 Macbook Air M3。前几天,我第一次想在本地运行一个 LLM。我运行了 gemma-4-e4b,并向它输入了一些聊天内容。
这让我想起了我第一次使用 ChatGPT 的经历。虽然它显然不如 Opus 4.6 这样的模型强大,但它让我对未来充满了期待。
我知道拥有一个像样的 GPU 的普通人就可以运行相当强大的模型。
我真正的问题是,硬件和软件优化相结合,是否能让我们在真正基础的硬件上运行接近“state of the art”(最先进)的模型?
考虑到在数据中心上花费的巨额资本支出,如果出现类似摩尔定律的现象,或者其他算法突破,让我们能够运行在普通机器上的超级 LLM,会怎么样呢?