最新

我构建这个工具是因为我厌倦了所有 AI 工具都把我的数据发送到别人的服务器。n0x 通过 WebGPU 运行全栈 LLM 推理，包括自主 ReAct 智能体、基于你自己的文档的 RAG，以及通过 Pyodide 进行沙盒化的 Python 执行，所有这些都在一个浏览器标签页内完成。 无需账户，无需密钥，无需后端。模型只需下载一次，永久缓存在 IndexedDB 中。 最大的挑战是为智能体循环进行上下文窗口预算，以及使 WASM 向量搜索无阻塞。 欢迎讨论架构。 GitHub: <a href="https:&#x2F;&#x2F;github.com&#x2F;ixchio&#x2F;n0x" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;ixchio&#x2F;n0x</a> | 演示: <a href="https:&#x2F;&#x2F;n0x-three.vercel.app" rel="nofollow">https:&#x2F;&#x2F;n0x-three.vercel.app</a>

我花了几个星期的时间，整理了关于人工智能（AI）在职场应用方面的纵向研究的实际发现，而不是像大多数报道中那样乐观地看待生产力提升。

我开发了一个工具，可以将 PDF 银行对账单转换为结构化的 Excel 文件，以便导入 QuickBooks。<p><pre><code> 银行通常只提供大约 90 天的 CSV/QBO 导出文件，但 PDF 对账单可以追溯到 5-7 年前。需要补记多年账目的簿记员们面临着一个难题——他们要么手动重新输入所有内容，要么使用在财务版面中容易出错的通用 PDF 转换器。 Bank Parser 针对 Chase、美国银行、富国银行和 Capital One（支票、储蓄和信用卡）提供了专门的解析器。每个解析器都了解该银行特定的 PDF 布局，并提取每笔交易的 17 个字段，同时自动进行余额验证。 技术：Node.js + pdfjs-dist，无需 OCR（基于文本的 PDF）。总共有 8 个解析器（4 家银行 × 2 种账户类型）。 免费试用（200 次操作，无需信用卡）。</code></pre>

我从事推理调度方面的工作——包括 KV 缓存感知的路由、跨 GPU 节点的负载均衡等等。我需要一个类似 k9s 但适用于我的推理栈的工具。由于没有现成的，所以我自己开发了它。 llmtop 是一个用于 LLM 推理节点的实时终端仪表盘。它抓取 vLLM、SGLang 和 LMCache 已经暴露的 Prometheus /metrics 端点，并在一个视图中显示所有信息：KV 缓存使用情况、队列深度、TTFT/ITL 延迟（来自直方图桶的 P50/P99）、令牌吞吐量、前缀缓存命中率。颜色编码——红色表示需要修复。 ``` brew install InfraWhisperer/tap/llmtop 或者 go install github.com/InfraWhisperer/llmtop/cmd/llmtop@latest ``` 单个二进制文件，不需要 Prometheus 服务器，不需要 Grafana，不需要配置。只需运行 llmtop，它就会自动发现本地节点。 使用 Go 和 Bubbletea 编写。接下来将致力于 Kubernetes Pod 自动发现和 GPU 指标视图。