Ask HN: 打造你自己的 LLM 吗？
3 分•作者: retube•8 个月前
真正理解事物运作的最佳方法是亲手构建它。所以我想知道，是否有关于从头开始构建自己的 LLM 的优秀教程。例如，实现分词、嵌入、注意力机制等等。我并不是说要复制 ChatGPT，而是构建一个基于更小语料库和训练数据的玩具模型。
查看原文
The best way to really understand how something works is to build it yourself. So I am wondering if there are any good tutorials on building your own LLM from scratch. I.e. implementing tokenisation, embeddings, attention and so. I am not suggesting one could replicate chatGPT, but more a toy model based on a much smaller corpus and training data.