最新

我构建 Replay Doctor 的原因在于，AI 代理的账单会在没有任何警告或日志错误的情况下飙升。 当开发者使用 Claude Code、Cursor 或 Codex 时，工作流程依赖于提示缓存。但如果客户端乱序重新渲染，或者工程师离开去吃个 10 分钟的午餐，缓存就会因为 TTL 到期而失效。提供商会悄悄地以冷写入价格重新计费整个对话历史。没有错误，只有巨额账单。 Replay Doctor 是一个零遥测、零依赖的本地 Go CLI。它读取你的磁盘转录，逐轮模拟提供商的缓存规则，并指出你的缓存失效的确切轮次以及造成的成本。 该工具内置的约束： 1. **零遥测**：它不会将任何信息发送出你的机器。文本永远不会被存储；路径和工具会在本地进行 HMAC 加密。 2. **事实完整性**：如果它没有在网络上测量过一对模型，它就不会猜测一个美元数字。 3. **心跳是骗局**：数据显示 87% 的缓存支出发生在 5 分钟以下的间隙。心跳在数学上是错误的解决方案。 它是免费且源代码开放的（BUSL 1.1）。请告诉我你在日志中发现了什么！ curl -fsSL https://replay.doctor/replay.sh | less 仓库：https://github.com/RedRobotKK/Replay

作为机器学习学习小组的一员，我一直在构建工具来实验机器学习概念。我使用AI编码代理来开发软件，主要基于云，但我一直在尝试在具有12G、16G和24G显存的GPU上运行本地LLM。Freetoken使得在较小的GPU上运行更大的MoE模型成为可能。 这启发我使用我的ML工具从头开始构建一个微型MoE模型，以便我可以试验不同的代理优化以及Engram、递归模型、分层模型、KV缓存压缩等。 我上面的链接展示了构建不同微型模型的结果，其中一个是密集模型，其余是MoE变体。这背后有大量的代码和工具。 目标： - 构建可在浏览器中运行的微型MoE模型，以提供交互式帮助（今天我使用确定性匹配器来响应用户查询；仍在研究如何通过训练更好的MoE模型来改进这一点）。 - 构建可在小型ARM和RISC-V开发板上运行的微型MoE模型，可能使用NPU（使用no_std Rust）。 我的工具是Python、ML库、Jupyter Notebook和Google Colab的替代品。 我的方法是使用Rust编写的REPL和/或AOT可编译的数组编程DSL。该语言将ML概念作为一等语言元素，并内置可视化原语。 它通过WASM在浏览器中运行。它在Apple和Linux的CLI上运行（支持Apple GPU和NVIDIA GPU库，基于Ollama的REPL上下文敏感帮助）。它可以通过动态插件Rust库进行扩展。 我创建了许多演示仓库，展示了如何使用这种ML数组语言进行ML任务、学习数学概念和通用编程。您可以构建桌面应用程序、（受Ruby on Rails启发）CRUD应用程序。因此，您可以创建ML实验并在浏览器或桌面上可视化数据。 它还支持Emacs org-mode进行文献编程。 这个微型MoE显微镜只是我这种方法的最新演示。我希望它能帮助一些人更深入地了解MoE专家、路由、Engram等。它也帮助我学到了更多。

我的朋友格雷格（Greg）经常出于好玩而发布他刚做出来的令人难以置信的东西。 很多时候，我都没意识到那是他做的，然后我看到网址，竟然是我朋友格雷格！ 他发布的一些我觉得很棒的东西： - 宜家复杂度指数：<a href="https://ikea.greg.technology/" rel="nofollow">https://ikea.greg.technology/</a> - Boing：<a href="https://boing.greg.technology/" rel="nofollow">https://boing.greg.technology/</a> - Peephole：<a href="https://peephole.greg.technology/" rel="nofollow">https://peephole.greg.technology/</a> 我想确保我不会错过他的任何作品，所以我创建了这个 Chrome 扩展程序，它可以标记出格雷格发布的内容，或者链接到他的网站或子域名的内容。 我希望其他人也能安装这个扩展程序，这样就不会错过格雷格的任何作品了。

各位，我正尝试从用户端实现系统 3 思维。我已经在我的产品中构建了它，但我想加强它。有什么建议吗？

这个想法旨在探索社交媒体、人气和预测市场之间是否存在交集，以及这种交集可能呈现出何种形态。