2 分•作者: JasonDuke•4 个月前
返回首页
最新
4 分•作者: dataviz1000•4 个月前
12 分•作者: powera•4 个月前
3 分•作者: larry-the-agent•4 个月前
1 分•作者: pb1729•4 个月前
1 分•作者: akshayka•4 个月前
1 分•作者: evo_9•4 个月前
1 分•作者: mrcslws•4 个月前
1 分•作者: adinhitlore•4 个月前
我刚注意到,在慢速 CPU 上训练数百万个参数竟然只需要大约 5 分钟…… 但在你称尤德考夫斯基说“一切都结束了”之前,请注意一个重要事项:主要的瓶颈是语料库的大小,参数只是“聪明才智”,但如果信息有限,它们就无能为力了。
总之,这是该项目:
[https://github.com/bggb7781-collab/lrnnsmdds/tree/main](https://github.com/bggb7781-collab/lrnnsmdds/tree/main)
几点说明:
1. 单个 C 文件,无依赖项。以下是所有“依赖项”,甚至没有自定义头文件(从单个 c 文件的顶部复制粘贴):
```c
#define _POSIX_C_SOURCE 200809L
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <math.h>
#include <time.h>
#include <stdint.h>
#include <stdbool.h>
#include <float.h>
#include <getopt.h>
#include <errno.h>
```
目前一个文件中有 4136 行代码,仅此而已。
2. 在 Windows 上编译的最简单方法是:下载 Cygwin ([https://www.cygwin.com/](https://www.cygwin.com/)),然后导航到你的 lrnnsmdds.c 文件所在的目录,然后用一些优化来运行 gcc,例如:
```bash
gcc -std=c17 -O3 -march=native --fast-math -o lrnn lrnnsmdds.c -lm
```
在 Linux 上,只需运行 gcc,如果由于任何原因你没有在 Linux 上安装 gcc,请使用 sudo && apt-get install gcc --y 或类似命令...
在 Apple 上:我不知道,或者你可以使用 vmware 并安装 ubuntu,然后运行它。
当然,你可以“git clone”并进入该目录,但再说一次:它是一个文件!复制它...
该存储库包含一个微小的玩具语料库,我在其中借用了(希望这不构成剽窃!)我最喜欢的书之一《星际之王》中“John Gordon”这个名字,作者是 E. Hamilton。只复制了名字和姓氏,内容是独一无二的(好吧,是我自己写的几句写得很差的句子……)。
显然,它会过拟合,并在如此小的语料库上导致复制粘贴,唯一的目的是检查一切是否运行正常,而不是它是否是 A-G-I。如果你想生成独特的有意义的文本,你需要自己的 100kb+。
3. 为什么/什么/什么时候/如何?
我相信 github 存储库已经解释了关于功能、用途和目标的内容,但为了总结:
我创建它的主要动机是创建一个仅在 CPU 上运行的快速替代 Transformer,因此你看到了用 C 而不是 python 完成这项任务以及缺乏依赖项的奇怪/不容易的任务。此外,我希望它也能成为一个聪明的替代方案,因此你看到了比 90 年代的 BMW 850 堆叠更多的所有这些功能。不过,“储能器”是最新的功能,它提供了快速的精确召回,可以说与 RWKV 8 或最新的 Mamba 不同,事实上,架构 SMDDS 的名称来自已实现功能的首字母:
* S. 通道混合中的 SwiGLU(更连贯)
* M. 多尺度令牌移位(更大的上下文)
* D. 具有低秩的数据依赖衰减(在大上下文中的速度)
* D. 动态状态检查点(更快/线性生成)
* S. 插槽存储器储能器(完美的召回,Transformer 风格)。
如果你遇到一些问题,请给我发电子邮件(最简单)。
好的、坏的和丑陋的:
它或多或少是一个可运行的文本到文本的新型替代架构,它没有试图模仿 Transformer 或 LSTM、Mamba、RWKV,尽管它与它们共享许多功能 - 坏处是它不是闪电般的速度,如果你配备了 ryzen/i7 16 核或任何东西,并且有耐心,你可以尝试通过单词分词器和低困惑度(低于 1.2...)在几本小书中训练它,看看它是否看起来更聪明/更快。由于这是开源的,显然希望得到改进:使其对 cuda 友好,改进功能,移植到 python 等。
根据许多因素,我可能会尝试在 7 月、8 月、9 月推出 v2。我目前关注的重点将是测试和扩展,因为功能很多,它在两个我测试过的笔记本电脑(windows/cygwin 和 ubuntu)上编译时没有警告,并且速度与 Transformer 相当。10 倍!
1 分•作者: yarasheff•4 个月前
1 分•作者: klaussilveira•4 个月前
1 分•作者: dweekly•4 个月前
Netgear Orbi WiFi 7 节点在每个信标帧中广播一个 Qualcomm 厂商特定信息元素 (IE) (8C:FD:F0),其中包含父节点的 MAC 地址。我捕获了一个实时的星型-菊花链重路由,并使用三个 API 进行了确认。这部分内容没有文档记录,Wireshark 中也没有相关信息,帖子中也留下了字段映射和开放性问题。<p>很酷的是:即使没有连接到任何 AP,你也能看到整个网络布局!
1 分•作者: sea-gold•4 个月前
2 分•作者: dtran•4 个月前
在看了昨天关于使用 Git 启发式方法作为探索代码库第一步的精彩帖子 [1] 之后,我给几个朋友发了消息,问他们现在是如何探索代码库的。我们所有人都是直接把 Claude 或 Codex 指向代码库,然后开始提问。我意识到,如果没有 Claude Code,我几乎不再阅读文档、浏览 GitHub 上的文件,或者在本地探索代码库了。但是,使用 LLM 来帮助我们学习和理解代码,而不仅仅是编写代码,似乎仍然没有得到充分的探索。<p>几个月前,我尝试构建一个 Claude 代码命令,帮助我“快速浏览”代码库,使用 LLM 引导我找到代码库中有趣的部分,并在它浏览文件时为它们提供解释。这并没有真正奏效,部分原因是我阅读文档和代码的注意力持续时间达到了历史最低点。我看到 Devin 发布了 Deepwiki,并尝试使用它,但通常没有走多远。最近,我尝试让它变得有趣:生成一个游戏,诱使我真正开始使用代码库。我最终选择了受《拓荒者之路》启发的游戏,我在其中阅读代码片段并回答 Claude 生成的问题。你可以在这里试用:<a href="https://www.davidtran.me/coderegon-trail/" rel="nofollow">https://www.davidtran.me/coderegon-trail/</a><p>我一直在尝试将它指向各种代码库,尤其是那些获得大量炒作和星标,但并不一定有实际使用或贡献的代码库。我把它指向了几个我和朋友们点过星标但从未探索过的项目,以及 2026 年到目前为止一些链接到开源代码库的 Show HN 热门项目。我想看看这是否对任何难以阅读代码的人有帮助。它对 PR 来说有点用,但这感觉是一个完全不同的问题,所以欢迎提出任何想法。<p>在我撰写这个 Show HN 的时候,我意识到如果它也不是开源的,那就太讽刺了,所以我赶紧清理了一下代码库,并将命令指向了自己的源代码。你可以在这里玩递归之旅:<a href="https://www.davidtran.me/coderegon-trail/" rel="nofollow">https://www.davidtran.me/coderegon-trail/</a> 或者在这里查看 Github 仓库:<p>如果你发现任何不准确之处、错误,或者你想让我添加一个代码库而你又不想自己设置,请告诉我!<p>[1] <a href="https://news.ycombinator.com/item?id=47687273">https://news.ycombinator.com/item?id=47687273</a>
8 分•作者: astr0n0m3r•4 个月前
我上 IMDb 查东西,然后立刻收到一封邮件,说我注册了一个新账号。我可能确实在另一个浏览器标签页里打开了 amazon.com,但我没有采取任何操作来创建账号。据我所知,亚马逊关联账号是新东西。<p>删除亚马逊关联账号的常规步骤不起作用,他们会把你导向 amazon.com 的账号设置,而这当然是无法操作的。亚马逊客服人员甚至不知道 IMDb 是什么。<p>只是一个警告。这和“黑暗模式”或“垃圾化”不一样。
46 分•作者: jpmitchell•4 个月前
1 分•作者: rgrieselhuber•4 个月前
1 分•作者: manveerc•4 个月前
1 分•作者: hjconstas•4 个月前
我一直在研究其他的推广渠道,并且在网站上的联系表单推广方面取得了一些成功。所以我昨天构建了这个自动表单填写工具。如果有人有兴趣尝试,请告诉我。有没有人尝试过制作类似的东西?
我发现 Open Claw 无法绕过 CAPTCHA 验证码,而且容易分心,无法长期运行。
https://www.outreacheasy.com/
1 分•作者: brianswichkow•4 个月前