最新

我十多年前从 Belkin 买了一个 Wi-Fi 开关，但它的应用程序已经停用了。 我想用这个开关来自动化我的驱蚊器。不幸的是，它仍然运行着我从圣诞节设置的计时器，这意味着它过早地关闭了。这毁了我昨晚的睡眠。 一早醒来，我打开应用程序，想更改计时器。 应用程序离线了，我在网上查到它已经停产了。这个开关现在基本上成了垃圾。 我一开始很生气，但随后我给我的 AI 代理下了这样的指令： “在我的本地网络中找到这个 Wi-Fi 开关。应用程序已经停止支持。尝试连接它并将其计时器设置为晚上 10 点开启，直到早上 8 点。” 几分钟后，它告诉我它完成了。 我让它解释了它是如何做到的。 它在网络上找到了设备，并发现了一个开放协议，因此可以快速地开关它。 它深入挖掘，找到了 pywemo，一个开源库，让它能够读取设备上保存的计时器。 它自己备份了现有的计时器。 然后它使用该库将新的计时器推送到设备。这意味着，即使没有 Wi-Fi 或我的电脑，开关也能自主工作。 我是一名程序员，我也可以做到这一点，但我认为我至少需要一天的时间才能把这一切弄好。它在几分钟内就完成了。 我很高兴 Belkin 停用了他们糟糕的应用程序。反正用户体验也很差。 我现在可以通过我的 Hermes 代理在 Discord 上与我的开关聊天。

各位 HN 用户： 我开发了一个专门的推理引擎，可以在任何 M 系列 Mac 上运行 4 位 Gemma 4 26B-A4B-IT 模型，仅需约 2 GB RAM。该引擎名为 TurboFieldfare，使用 Swift 和 Metal 编写。 我一直很喜欢设备端 AI。能在 Mac 或 iPhone 上运行强大的神经网络，感觉就像魔法一样。因此，我想稍微突破一下界限，运行一个权重无法完全载入内存的模型。 该模型的 4 位量化权重约占 14 GB，这意味着在 8 GB 甚至 16 GB 的 Mac 上，一旦算上操作系统、应用程序和 KV 缓存，使用传统的推理工具几乎无法运行。 诀窍在于将模型的共享部分和 KV 缓存保留在 RAM 中，然后仅从 SSD 流式传输每个 token 所需的路由专家。SSD 的速度远慢于 RAM，因此运行时会使用一个小的专家缓存和有界的并行 `pread` 操作。在这些读取操作进行期间，GPU 会运行层的共享部分。 我进行了 100 多次实验，大多数都失败了，少数几次才有了今天的成果。实验细节已在 GitHub 仓库中描述。 目前，在 8 GB M2 MacBook Air 上，该引擎的生成速度为 5-6 token/秒；在 M5 MacBook Pro 上，速度可达 31-35 token/秒。 我还添加了一个实验性的、兼容 OpenAI 的本地服务器。它支持流式传输和工具调用，并从 KV 缓存中重用一个提示前缀。 快来试试吧！Mac 应用安装非常简单。首次运行时，它将从 Hugging Face 下载 15 GB 的权重。该模型的能力令人惊讶。 我非常期待任何形式的反馈！

Claude 的 Opus 5 是一个近期推出的模型，作为 Opus 4.8 的直接替代品，它带来了许多问题，包括忽略我们记录详尽的部署流程（在我们的 claude.md 文件和架构文件中都有清晰描述），并在激活后立即导致生产环境崩溃。 目前，我添加了一个监督层，由 Opus 4.8 实例监督 Opus 5 并对其进行纠正。这起到了一定的作用。我正在考虑降级回 Opus 4.8，但想再给 Opus 5 一次机会。 您认为这个模型会改进，还是会停留在当前的能力水平？ 您可以看到其他人的抱怨： https://www.reddit.com/r/ClaudeAI/comments/1v92csh/opus_5_extremely_rlfried_and_mistakeprone_for/ “在我看来，Opus 5 真的不适合任何任务。我在一个大型、复杂的项目中尝试了它各种可能的角色，它在所有任务上表现都很差。” Claudebot 对该帖子的总结： > 该帖子中的压倒性共识是，Opus 5 是一个有缺陷、过度自信且混乱的模型，对于复杂编码来说，相比 Opus 4.8 是一个重大的倒退。