最新

众所周知，OpenAI 并不那么“开放”。 2023 年，我曾玩转过 transformers、RNNs，并且从头到尾理解了它们的工作原理（例如，自己编写了 Keras，可以在白板上画出小型网络），而且我能很快地用 Keras 或 TensorFlow 搭建模型。 后来我找到了一份工作，就再也没碰过这些了。 撇开数据和算力不谈，用最新的技术做一个个人项目性质的基础模型有多难？我听说过 MoE 之类的东西，我想我们现在肯定不会再仅仅在 Keras 里堆砌一堆层和 dropout 了。