2 分•作者: samsolomon•21 天前
返回首页
最新
1 分•作者: sim_pod•21 天前
160 分•作者: validatori•21 天前
24 分•作者: pizlonator•21 天前
大家好!我正在使用一个内存安全的浏览器发帖:WebKitGTK MiniBrowser,它使用Fil-C编译,并且所有依赖项也使用Fil-C编译。<p>仍然在处理一些bug的尾巴,其中一些看起来像是过度优化的结果,导致指针功能丢失(进而导致Fil-C崩溃)。但它运行得足够好了,我可以在这里说声“你好”。
498 分•作者: mickle00•21 天前
2 分•作者: tha_infra_guy•21 天前
- 新增文档元数据保留功能
- 自带大语言模型
- 无操作系统限制
1 分•作者: PaulHoule•21 天前
1 分•作者: TechTechTech•21 天前
1 分•作者: gmays•21 天前
3 分•作者: CharlesW•21 天前
1 分•作者: EveW•21 天前
1 分•作者: dhilipsiva•21 天前
项目:我正在构建 R3-Engine,一个从头开始构建的、本地 AI 推理引擎,用于微软的 bitnet-b1.58-2B-4T 模型。它完全使用安全 Rust 编写,原生交叉编译到 Wasm SIMD128,并在执行循环中使用零堆内存分配。
物理特性:通过将 64 字节对齐的 .r3 文件直接从 NVMe 映射到 CPU L3 缓存(零拷贝),并使用 AVX-512 VPOPCNTDQ 进行无分支数学运算,Ryzen 9950X3D 实现了 117 Tokens/秒 的延迟。
问题:AI 哑巴了(输出 <unk>*)。矩阵乘法流水线在数学上是完整的,但输出卡在 Token ID 0 (<unk>)。问题在于量化权重和基于浮点数的非线性激活之间的转换。
我需要专家输入的地方:
```
BitNet 中的权重绑定:微软的 2B 模型将嵌入与 LM 头绑定。我正在克隆嵌入矩阵用于输出投影,但我怀疑缺少一个缩放因子。
1.58 位 RMSNorm 和 SiLU:来自 VPOPCNTDQ 循环的原始整数累加器在进入 SiLU 激活和后续层之前应该如何缩放?
```
GitHub 仓库:[https://github.com/r3-engine/r3-engine](https://github.com/r3-engine/r3-engine)
如果您了解 LLM Logit 采样或三元激活数学的物理原理,我希望您能看看代码库。
1 分•作者: pr337h4m•21 天前
1 分•作者: anonyonoor•21 天前
Hi HN,
大家好!
这是 Bookface——一个用 TypeScript 编写的 Meta 开发者服务封装库,它诞生于我对 Meta 缺乏便捷的开发者集成方式的沮丧。
目前你所能找到的 Meta 产品 API 库要么功能非常有限(并且使用有漏洞的浏览器模拟),要么过时且无人维护,让人难以接受。这个库的目标是:
* 以 Meta 期望的方式与 Meta 开发者服务交互,但使用起来更加容易。
* 支持 Meta 的所有平台(例如 Facebook、Instagram、Threads、WhatsApp 等)。
* 持续更新以适应 Meta 的最新 API 更改。
* 总而言之,为尝试使用 Meta 服务的人们加快速度。
背景介绍:我断断续续地开发这个库大约一年半了,根据我的需求慢慢添加功能。最初,我是在十七岁时为另一个项目创建了这个库。两年后,我一直拖延发布,而这个库迫切需要其他有经验的人来帮忙。
发布这篇文章的原因是希望获得一些关于语法的紧急反馈,看看哪些语法用起来顺手,哪些不顺手;测试目前已添加的功能是否按预期工作(我目前是唯一的测试员);以及,最重要的是,寻找其他维护者。我希望这是一个长期项目,维护者将有助于弥补我的错误,并希望能够让这个项目持续一段时间。
我应该指出,这有点像一个初步的发布帖子,因为这个库仍处于非常早期的阶段(缺少功能),我真的只是想让事情动起来。请来看看吧!
[https://facebook-js-sdk.vercel.app/](https://facebook-js-sdk.vercel.app/)
(目前的早期网站。我正在努力获得一个更好的域名。)
(另外,请原谅网站和代码库名称之间的差异——名称尚未确定,我欢迎提出建议。)
1 分•作者: aledalgrande•21 天前
2 分•作者: saikatsg•21 天前
2 分•作者: Plarsy•21 天前
44 分•作者: todsacerdoti•21 天前
2 分•作者: lywald•21 天前
18 分•作者: bobbiechen•21 天前