最新

作为机器学习学习小组的一员，我一直在构建工具来实验机器学习概念。我使用AI编码代理来开发软件，主要基于云，但我一直在尝试在具有12G、16G和24G显存的GPU上运行本地LLM。Freetoken使得在较小的GPU上运行更大的MoE模型成为可能。 这启发我使用我的ML工具从头开始构建一个微型MoE模型，以便我可以试验不同的代理优化以及Engram、递归模型、分层模型、KV缓存压缩等。 我上面的链接展示了构建不同微型模型的结果，其中一个是密集模型，其余是MoE变体。这背后有大量的代码和工具。 目标： - 构建可在浏览器中运行的微型MoE模型，以提供交互式帮助（今天我使用确定性匹配器来响应用户查询；仍在研究如何通过训练更好的MoE模型来改进这一点）。 - 构建可在小型ARM和RISC-V开发板上运行的微型MoE模型，可能使用NPU（使用no_std Rust）。 我的工具是Python、ML库、Jupyter Notebook和Google Colab的替代品。 我的方法是使用Rust编写的REPL和/或AOT可编译的数组编程DSL。该语言将ML概念作为一等语言元素，并内置可视化原语。 它通过WASM在浏览器中运行。它在Apple和Linux的CLI上运行（支持Apple GPU和NVIDIA GPU库，基于Ollama的REPL上下文敏感帮助）。它可以通过动态插件Rust库进行扩展。 我创建了许多演示仓库，展示了如何使用这种ML数组语言进行ML任务、学习数学概念和通用编程。您可以构建桌面应用程序、（受Ruby on Rails启发）CRUD应用程序。因此，您可以创建ML实验并在浏览器或桌面上可视化数据。 它还支持Emacs org-mode进行文献编程。 这个微型MoE显微镜只是我这种方法的最新演示。我希望它能帮助一些人更深入地了解MoE专家、路由、Engram等。它也帮助我学到了更多。

我的朋友格雷格（Greg）经常出于好玩而发布他刚做出来的令人难以置信的东西。 很多时候，我都没意识到那是他做的，然后我看到网址，竟然是我朋友格雷格！ 他发布的一些我觉得很棒的东西： - 宜家复杂度指数：<a href="https://ikea.greg.technology/" rel="nofollow">https://ikea.greg.technology/</a> - Boing：<a href="https://boing.greg.technology/" rel="nofollow">https://boing.greg.technology/</a> - Peephole：<a href="https://peephole.greg.technology/" rel="nofollow">https://peephole.greg.technology/</a> 我想确保我不会错过他的任何作品，所以我创建了这个 Chrome 扩展程序，它可以标记出格雷格发布的内容，或者链接到他的网站或子域名的内容。 我希望其他人也能安装这个扩展程序，这样就不会错过格雷格的任何作品了。

各位，我正尝试从用户端实现系统 3 思维。我已经在我的产品中构建了它，但我想加强它。有什么建议吗？

这个想法旨在探索社交媒体、人气和预测市场之间是否存在交集，以及这种交集可能呈现出何种形态。

你希望有哪些尚未存在（无论出于何种原因）的隐私保护工具？可以是任何东西，比如浏览器扩展、软件、广告拦截器，或是物理安全设备。我很好奇，想看看目前世界上需要什么。