2作者: itakechops大约 2 个月前
先说明一下背景,我没有任何计算机科学背景(我对终端很头疼),本科是学生物进化的,做过自闭症儿童的行为分析工作,过去几年全职做独立艺术家。 在构建代理基础设施以帮助满足艺术创作的业务需求时,我提出了一个关于当前大型语言模型(LLM)架构的假设,我想验证一下。 核心想法是,自然界从未通过单一孤立的单元产生过高阶智能。然而,每一个前沿的 LLM 都基于单一模型架构。我想改变这一点。我将把几个开源模型放入一个“活”的训练环境中,设置出生/死亡条件、灭绝事件、商业,甚至模型之间的“婚姻”。目标是在训练环境中重现自然选择,以促使模型专业化和进化。我也有一些初步的想法,通过引入“情感”作为模型参数,来最小化当前 LLM 中的注意力瓶颈。 很乐意在评论区分享更多技术细节。我会定期在这里发布我的研究进展。如果您想支持这项实验:https://www.gofundme.com/f/stop-wasting-water-on-data-centers-a-safe-roadmap-for-ai