1 分•作者: birdculture•大约 2 个月前
返回首页
最新
2 分•作者: redbell•大约 2 个月前
1 分•作者: vdelpuerto•大约 2 个月前
2 分•作者: psraghuveer•大约 2 个月前
1 分•作者: keepamovin•大约 2 个月前
1 分•作者: gregburd•大约 2 个月前
这是一个稀疏压缩位图索引的实现。在最佳情况下，它可以用 8 个字节存储 2048 位。在最坏情况下，它会以未压缩的形式存储 2048 位，并需要额外的 8 个字节开销。它与 Roaring Bitmaps 和该领域的其他竞争对手相比具有优势，但它更好吗？
1 分•作者: speckx•大约 2 个月前
1 分•作者: akyuu•大约 2 个月前
1 分•作者: analyticsfs•大约 2 个月前
14 分•作者: speckx•大约 2 个月前
2 分•作者: gregburd•大约 2 个月前
Noxu 提供 ACID 事务、基于日志结构的 B+ 树、基于检查点的崩溃恢复（ARIES）、主-副本复制以及 XA。我一直很欣赏 Berkeley DB Java Edition 的设计和工程，所以出于兴趣，我用 Rust 语言将其进行了翻译。
18 分•作者: zambelli•大约 2 个月前
Hi HN，我是德州仪器的人工智能总监 Antoine Zambelli。<p>我构建了 Forge，这是一个用于自托管 LLM 工具调用的开源可靠性层。<p>它的作用：<p>- 为在消费级硬件上运行的本地模型添加与领域和工具无关的护栏（重试提示、步骤强制、错误恢复、VRAM 感知上下文管理）<p>- 在不改变模型的情况下，将 8B 模型的性能从约 53% 提升到约 99%，适用于多步骤的智能体工作流程<p>- 附带评估工具和交互式仪表板，您可以复现每一个数字<p>我希望为我的投资组合运行一些始终在线的智能体系统，不想支付云端前沿技术的费用，并且立即遇到了本地模型的复合数学问题。每一步 90% 的准确率听起来很棒，但对于一个 5 步的工作流程来说，失败率是 40%。现有的框架似乎都没有解决这个机械可靠性问题——它们似乎都是为云端前沿技术量身定制的。<p>演示视频：<a href="https://youtu.be/MzRgJoJAXGc" rel="nofollow">https://youtu.be/MzRgJoJAXGc</a>（并排对比：相同模型，相同任务，有和没有 Forge 护栏）<p>该论文（已被 ACM CAIS '26 接收，将于 5 月 26 日至 29 日在圣何塞展示）涵盖了在 97 种模型/后端配置、18 个场景、每个场景运行 50 次的同行评审结果。关键数字：<p>- Ministral 8B 搭配 Forge：99.3%。Claude Sonnet 搭配 Forge：100%。在价值 600 美元的 GPU 上运行的免费本地 8B 模型与前沿 API 之间的差距不到 1 个百分点。<p>- 相同的 8B 本地模型搭配 Forge (99.3%) 优于没有护栏的 Claude Sonnet (87.2%)——一个带有框架支持的 8B 模型胜过您单独通过前沿 API 获得的最佳结果。<p>- 在没有重试机制的情况下，所有测试模型（本地和前沿）的错误恢复得分为 0%。这不是能力差距，而是架构缺失。<p>我目前正在使用它来运行我的家庭助手（基于 Ministral 14B-Reasoning），以及我本地托管的智能体编码工具（8B 设法为代码库做出了贡献！）。<p>护栏堆栈有五层，每一层都可以独立切换。其中最重要的两层（根据 McNemar 检验的消融研究）：重试提示（禁用时下降 24-49 个百分点）和错误恢复（下降约 10 个百分点，对每个测试模型都很重要）。步骤强制是情境性的——仅适用于序列化能力较弱的模型。救援解析和上下文压缩在评估中没有显示出显著性，但保留用于生产工作负载，它们偶尔会激活。<p>我真正没有预料到的一件事是：服务后端很重要。相同的 Mistral-Nemo 12B 权重在 llama-server 上使用原生函数调用产生 7% 的准确率，而在 Llamafile 上使用提示模式产生 83% 的准确率。仅基础设施就产生了 75 个百分点的差异。我认为没有人发布过这个，因为标准基准测试没有控制服务后端。<p>另一个惊喜是：在当前的 LLM 工具调用中，没有区分“工具运行成功并返回数据”和“工具运行成功但什么也没找到”。两者都返回一个值，编排器将该步骤标记为完成，并且错误数据会级联到下游。这相当于 HTTP 具有 200 但没有 404。Forge 将此添加为一个新的异常类（ToolResolutionError）——模型会看到错误并可以重试，而不是默默地传递垃圾数据。<p>最大的技术挑战是针对内存受限硬件的上下文压缩。当模型超出 VRAM 时，Ollama 和 Llamafile 都会默默地回退到 CPU——没有警告，没有错误，只是推理速度慢了 10-100 倍。Forge 在启动时查询 nvidia-smi 并推导出 token 预算以防止这种情况。<p>如何尝试：<p>- 克隆存储库，在尚未测试过的模型上运行评估工具。如果您获得有趣的结果，我将把它们添加到仪表板中。<p>- 尝试代理服务器模式——将任何与 OpenAI 兼容的客户端指向 Forge，它将透明地处理护栏。这是最新的模型，我希望有更多人关注它。<p>- 亲身实践促使我在 v0.6.0 中优化了模型参数。更难的评估套件（26 个场景）旨在提高上限，因此没有人会达到 100%。在原始套件中达到 100% 的几个模型无法通过它——包括 Opus 4.6。很好奇是否有人发现了尚未考虑到的暴露差距的场景。论文数字基于 v0.6.0 之前的代码。<p>背景：之前在无监督学习方面发表过 ML 论文（83 次引用）。这篇论文被 ACM CAIS '26 接收——将于 5 月 26 日至 29 日展示。<p>存储库：<a href="https://github.com/antoinezambelli/forge" rel="nofollow">https://github.com/antoinezambelli/forge</a><p>论文：<a href="https://www.caisconf.org/program/2026/demos/forge-agentic-reliability/" rel="nofollow">https://www.caisconf.org/program/2026/demos/forge-agentic-re...</a> <a href="https://github.com/antoinezambelli/forge/blob/main/docs/forge_ieee_preprint.pdf" rel="nofollow">https://github.com/antoinezambelli/forge/blob/main/docs/forg...</a><p>仪表板：<a href="https://github.com/antoinezambelli/forge/docs/results/dashboard.html" rel="nofollow">https://github.com/antoinezambelli/forge/docs/results/dashbo...</a>
88 分•作者: interpol_p•大约 2 个月前
1 分•作者: mgh2•大约 2 个月前
1 分•作者: beardyw•大约 2 个月前
1 分•作者: rustoo•大约 2 个月前
1 分•作者: throwaway2037•大约 2 个月前
1 分•作者: deppep•大约 2 个月前
1 分•作者: omertt27•大约 2 个月前
大家好，
我开发了一个注重隐私的 PDF 转换器。许多转换器使用云系统来转换您的文件，但在 privapdf 中，所有操作都在您的设备上进行。期待您的反馈！
1 分•作者: Bender•大约 2 个月前