3 分•作者: lennart-rth•2 个月前
我最近在思考当前深度学习的核心低效问题时,了解到神经形态计算。
如今的 AI 严重依赖于超密集层、所有层和神经元持续不断的计算,以及全局反向传播来寻找最优权重更新。但当我们审视人脑时,这些情况都不存在。
人脑的运作原理与现代大型语言模型 (LLM) 截然不同:
* **局部演化:** 神经元在很大程度上是独立的,它们根据局部邻域和简单的反馈回路(如神经递质,例如多巴胺)进行演化,而不是基于全局误差信号。
* **极端稀疏性:** 该系统具有极高的稀疏性(神经元仅在参与了激活链后才会演化和更新)。
* **事件驱动处理:** 神经元仅在被评估并实际被其他脉冲神经元触发时才会发放脉冲。
相比之下,我感觉当前的 LLM 似乎是通过同时训练所有层和神经元,并尝试寻找最优的全局更新函数来强行解决问题。
如果我们审视过去几年 AI 发展的轨迹,会发现一个清晰的模式:
* 2020–2022 年:扩大数据集和原始计算规模。
* 2023–2024 年:扩展上下文窗口并转向专家混合模型 (MoE)。
* 2024–2025 年:思维链和推理时推理。
* 2025 年至今:自主执行和并行多智能体系统。
从根本上说,这些进步中的每一个都只是扩展计算和处理令牌的不同方式。因此,这种扩展自然会在某个时候遇到瓶颈,因为电力是有限的。
这就是为什么我相信长期的进步不可能仅仅来自于永无止境的扩展。它需要的是根本性的效率提升。那么,神经形态计算是否能实现这一点,还是它尚未成熟?