最新

我也会经历不同的阶段，但对于需要集中精力的任务，我一直觉得听一些纯音乐很有帮助，只要没有歌词就行。<p>以下是我最近一直在听的：<p>----<p>《远征 33》原声带， 《炉石传说》原声带， 《塞尔达经典》（小提琴演奏的塞尔达传说主题曲）， 《指环王》原声带， 《霍比特人》原声带， 《纳尼亚传奇》原声带<p>古典音乐合集： 巴赫、莫扎特、贝多芬、维瓦尔第<p>----<p>我订阅了 Apple Music，但我相信 Spotify 和其他平台也都有这些音乐。<p>你最近有没有听过什么喜欢的音乐？

这是我在 HN 上的第一篇帖子——有点紧张，但很兴奋能分享我一直在构建的东西。 我一直在开发一个 70 亿参数的稀疏专家混合（Mixture-of-Experts，MoE）原型，它实际上可以在消费级硬件上运行。例如，在 Colab T4 上，它在训练期间使用大约 5 GB RAM 和 5 GB VRAM，推理时大约需要 3.5–5 GB。 我花了很多时间在以下几个方面： 路由（SmartRouter） 我尝试以一种实用的方式解决路由崩溃问题。我没有让所有 token 都涌入少数“最受欢迎”的专家，而是结合了几种方法：负载均衡损失、用于保持分布平坦的熵奖励、训练期间的抖动噪声以及可学习的温度。它在保持很大一部分专家活跃方面表现出乎意料地好。我已经开源了路由代码（hive_router.py），如果有人想研究数学原理或将其用于自己的项目，可以参考。 基础课程训练（FCT） 在标准的预训练之前，我让模型通过结构化的推理模式运行——目前有 290 种，涵盖 14 个认知领域。每个模式都遵循严格的序列：观察 → 先验 → 更新 → 涟漪 → 类比 → 行动。 为了让它在我的设置上实际运行，我使用了一些特定的技巧。首先，我使用仅目标损失（屏蔽标签和输入，只计算实际推理负载（如更新或行动）的梯度）。其次，我不得不编写一个自定义的 SparseExpertAdamW，它只为该步骤中实际活跃的专家实例化优化器状态。如果没有这个，20480 个专家的优化器状态会完全压垮我的 RAM。 到目前为止，我已经完成了 14 个领域中的 5 个。一件很酷的事情是：每个新领域的损失都比前一个领域低（例如，系统领域从 2.149 下降到 0.941），因此似乎跨领域的迁移确实发生了。 简而言之，架构如下： d_model = 2048 10 层（5 个密集核心 + 5 个融合） 20480 个专家（8 个领域 × 2560） 动态 Top-K（2–4） 内存映射权重 + 多巴胺学习 v1 模型已上传到 HuggingFace：https://huggingface.co/OpenSynapseLabs/arche3-7b 我将基准测试和图表放在了 GitHub 上：https://github.com/OpenSynapseLabs/arche3-benchmarks 局限性（坦白说）： 我还没有运行标准的基准测试（MMLU、GSM8K、HumanEval），只完成了 5/14 个 FCT 领域，数据集仍然很小，需要适当的扩展。此外，这目前是一个单人项目。我确实使用了 Gemini 和 Claude 来加速部分实现，但架构和核心想法是我自己的。 我非常感谢任何反馈，特别是如果你对 MoE 模型中的路由、课程预训练或进一步扩展（正在考虑下一个 350 亿参数）感兴趣。 我的主要目标是构建能够增强人类思维的系统，而不是取代它。如果这听起来像你想要尝试或贡献的东西，请随时通过 opensynapselabs@proton.me 联系我。我很乐意分享更多细节和私有仓库。 感谢阅读！

有没有什么快速推荐，想找个备用手机。

退休物理学教授奥古斯特·梅森[1]自20世纪60年代末以来一直在研究UFO现象。根据目击者报告，他得出结论，这些飞行器一定使用了电磁推进系统[2]。 随后，他开发了脉冲电磁推进（PEMP）系统[3]。其原理是飞行器产生强烈的交变磁场，并在恰当的时间和地点使周围的空气电离。这会产生洛伦兹力，通过反作用力推动飞行器前进。 他继续研究如何在实践中产生如此强烈的交变磁场。这促使他发现了一种具有非凡特性的新型振荡器——它要求飞行器的外壳是超导的[4]。这带来了方便的副作用，即可以屏蔽乘员免受强磁场的影响。如果正确，这意味着超高温超导性——远高于室温——不仅是可行的，而且已经被制造这些飞行器的人所掌握。 梅森教授随后转向了这种超高温超导性（VHTS）在物理上如何成为可能的问题。他刚刚完成了这项研究，发表了一项新理论[5]，解释了镁如何成为这种超导体。在超导状态下，镁会形成非常强的键，这可以解释罗斯威尔碎片所报告的异常物理特性。 [1] https://www.meessen.net/AMeessen/ [2] https://www.meessen.net/AMeessen/UFO_Evidence_of_Very_Strong_Low_Frequency_Magnetic_Fields.pdf [3] https://www.meessen.net/AMeessen/UFO_Pulsed_EM_Propulsion_of_Unconventional_Flying_Objects.pdf [4] https://www.meessen.net/AMeessen/UFO_Production_of_EM_Surface_Waves_by_Superconducting_Spheres.pdf [5] https://www.scirp.org/journal/paperinformation?paperid=149827