最新

我认为强化学习（RL）是一种通过模型预测来生成训练数据的方法——它直接促使模型扩展其输出范围，因为数据的多样性增加了。然而，强化学习的根本在于它依赖于自举法（bootstrapping）并存在移动目标问题（moving target problem），这也是其稳定性差的原因。近似价值函数（value function）最易处理的方法之一是时序差分（TD）学习，但这会导致样本噪声、函数逼近器误差和移动目标问题。我认为我们需要在贝尔曼方程（Bellman equation）层面扩展纯粹的强化学习理论，以实现更稳定的强化学习。因此，我们需要一个更好的价值函数数学基础和一个与之协调且没有问题的易处理的近似方法。

各位 HN 的朋友们： 我开发了 woltspace，旨在让我在离开电脑时也能与我的编码代理进行交互。它完全容器化，因此您可以让它们在沙箱（即“小屋”）内拥有完全的访问权限。 目前它支持 Claude Code。每个会话都可以通过 Telegram 或 Slack 进行控制。借助 Cloudflare Tunnels，您可以随时随地完全访问运行会话的终端。 Wolts 是具有独立个性、目标和记忆系统的生物。Wolts 的能力各不相同，浣熊最聪明（opus），而海狸则速度更快（sonnets）。一个 wolt 还会管理自己的网站，该网站以原生分屏模式显示：一边是终端，另一边是 wolt 的实时输出。 一个 wolt 可以构建全栈应用程序，您可以自行托管，并借助 Tunnels 随时随地访问。最重要的是，这一切都运行在您的机器上。您托管并拥有所有内容。 它完全开源：github.com/jerpint/woltspace 我正在寻求反馈，如果您觉得它有用，请告诉我！

几周前，出于未知原因，Github 决定禁用我们开源组织（lightningdevkit）的所有 Github Actions（包括自托管运行器）访问权限。由于我们中的一些人恰好在一家拥有大型 Github 企业账户的公司工作，我们尝试通过公司代表进行申诉。他们告知我们，问题似乎是由于一些非组织成员的临时贡献者被标记为使用 Actions 进行加密货币挖矿。由于该组织并不在我们的企业账户下，我们不得不等待几周才能收到解除禁令的回复……结果却被告知我们“似乎参与了违反”Github 服务条款的活动。然后他们列举了一些违反服务条款的活动示例，但我们并未进行任何一项，而且该组织本身显然也没有在 CI 中运行任何类型的挖矿。 鉴于我们已经有很多理由要放弃 GitHub（宕机、网站在过去十年中因客户端 JavaScript 大幅增加而功能没有新增但速度却持续变慢、PR 评论超过 50 条后无法加载、贡献者被禁用（并非因加密货币挖矿）导致有用的 PR 被搁置、支持响应缓慢等等），这更多的是给其他人一个警告，而不是任何寻求帮助的尝试。 当然，Github 近来因涌入大量 AI 代理账户导致垃圾信息和其他垃圾内容激增而陷入困境，我对此深表同情。但这并不意味着我们必须使用他们（历史上非常出色）提供的免费产品，我们也可以……不使用。 对于那些不知道的人来说，codeberg/self-hosted forgejo 可以导入整个 GitHub 仓库，包括历史问题和 PR、评论等。

在我开始编程生涯时，我记得读过 Jeff Dean 的《程序员应该知道的延迟数字》[1]，并深受启发。唉，十多年过去了，我从未完全内化所有这些数字。 直到最近。我发现了 Simon Eskildsen 关于程序员餐巾纸计算的演讲 [2] 和 GitHub 仓库 [3]。我喜欢他的推理，并决定现在 _真正_ 内化这些数字。 所以我创建了 baserates.dev。 这是一个间隔重复程序，它教你 Simon 的餐巾纸计算，并加入了一些 Jeff Dean 列表中的内容。主要的变化是：我包含了 CPU 指令，例如 L1 缓存读取。我还加入了一些新手背景知识，例如如何发音字符 μ，以及一个关于纳秒和微秒哪个更大的提醒。 该应用程序会自动保存你的进度，并且不需要身份验证。大部分逻辑都是“氛围编码”：我将所有链接喂给了 Claude。我使用 InstantDB [^4] 作为后端，主要是为了支持访客身份验证和保存进度。我花在这个项目上的大部分时间都只是仔细检查数字是否正确 [^5]。 希望你喜欢！ [1]: https://gist.github.com/jboner/2841832 [2]: https://www.youtube.com/watch?v=IxkSlnrRFqc [3]: https://github.com/sirupsen/napkin-math [4]: 免责声明：我是 InstantDB 的创始人 [5]: 一个有趣的故事：我让 Claude 在亚马逊上启动了一堆机器，以确认同一可用区、跨可用区、跨区域请求的延迟数字。

我使用 Claude Code 的 20x Max 计划已经有一段时间了，但从上周开始，情况似乎发生了一些变化，我似乎遇到了大量的 529 错误。<p>我的工作流程没有改变，并发级别也和往常一样，是他们更改了限制吗？

Wirewright 的理念是将程序和算法视为物理机制，视为存在于一个不变的符号世界中的机器或机器群落，然后通过时间步进这些机制来观察会发生什么。尤其是最后这一点，让我想起了细胞自动机。 换句话说，在 Wirewright 中，程序被建模为相互作用的“名词”或“名词群落”（可以理解为数据结构）。然后，世界遵循物理定律——符号物理学；这是这里唯一的“动词”（可以理解为函数）。因此，在 Wirewright 中，我们可以说，在某种意义上，算法等于结构，结构的演化等于计算。我倾向于将其简化为“结构即计算”，但这如果孤立来看可能是不准确的。 现在，我想你一定在想 Wirewright 到底是什么。事实上，我认为这里的规则要求我清楚、明确地告诉你 Wirewright 是什么。我会尝试，但请注意，归根结底，我比你了解的也多不了多少 :^) 我的手在写，我的大脑在思考。 我很难明确地说 Wirewright 是什么。请参阅 README 文件，其中有我几次尝试回答这个问题。如果你有兴趣自己去推断，请参阅教程。不过，我仍然不确定 README 或教程是否准确地回答了这个问题；我还没有收到关于我 Wirewright 大部分工作的反馈，所以任何反馈都欢迎，除了“我不明白这是什么”这种反馈；这种反馈我自己就能生成，没有冒犯的意思 :^) 如果不是有一个公开的 GitHub 仓库，如果我没有在那里和那里已经做过一些公告，你可能会认为我是在秘密开发这个项目。这种事情通常不会拿出来说，尤其是在“野外”；否则你很快就会被贴上古怪甚至完全疯狂的标签。 总之。Wirewright 不是一个框架，不是一个 UI 工具包，也不是一个 IDE。它也不是一种编程语言。我认为我在这里试图探索的是不同事物的交集，例如细胞自动机、项重写、符号计算、数据流等。我也容易跑题，写上好几页关于一个可以称为“民间生物学”的领域的内容；生物学，尤其是神经生物学，对我来说是巨大的灵感来源。灵感不等于抄袭或正式研究，当然。事实上，如果这里有生物学家，请在探索项目深处时“关闭”你们的眼睛、耳朵和其他所有感官器官 :^) 对我来说，当我在生物学中看到有趣的东西时，我就会兴奋地想：“哦，我也想做那个，不管怎么做！” 这个项目或多或少地在有机地发展，可以说，它随着我一起发展，吸收了我的许多想法（但主要是别人的想法；例如，Varela、Maturana、Wolfram），并将它们混合在一起。我想说，它是我多年来一直使用的游乐场，现在已经足够一致，让我敢于告诉世界。也就是说，大约两年前，Wirewright 还是一团模糊的物质，我甚至无法用类比来描述它。现在我至少可以尝试类比了。所有这些“符号物理学”的东西，都是我最近认识到项目实际发展方向的成果。 现在，作为最后的免责声明，请注意，我在谈论的所有领域，从编程到生物学再到哲学，都是业余的。所以也许所有这些都是已经被走过的路，我所做的这些都是徒劳的，我说的是蠢话。也许是这样。无论如何，我希望至少这个综合体对你们中的一些人来说看起来很有趣，即使确切的措辞和我在这里那里的一些小哲学插曲感觉有点不对劲。 抱歉文字太长了。