一周热榜

我从事推理调度方面的工作——包括 KV 缓存感知的路由、跨 GPU 节点的负载均衡等等。我需要一个类似 k9s 但适用于我的推理栈的工具。由于没有现成的，所以我自己开发了它。 llmtop 是一个用于 LLM 推理节点的实时终端仪表盘。它抓取 vLLM、SGLang 和 LMCache 已经暴露的 Prometheus /metrics 端点，并在一个视图中显示所有信息：KV 缓存使用情况、队列深度、TTFT/ITL 延迟（来自直方图桶的 P50/P99）、令牌吞吐量、前缀缓存命中率。颜色编码——红色表示需要修复。 ``` brew install InfraWhisperer/tap/llmtop 或者 go install github.com/InfraWhisperer/llmtop/cmd/llmtop@latest ``` 单个二进制文件，不需要 Prometheus 服务器，不需要 Grafana，不需要配置。只需运行 llmtop，它就会自动发现本地节点。 使用 Go 和 Bubbletea 编写。接下来将致力于 Kubernetes Pod 自动发现和 GPU 指标视图。

我开发了一个工具，可以将 PDF 银行对账单转换为结构化的 Excel 文件，以便导入 QuickBooks。<p><pre><code> 银行通常只提供大约 90 天的 CSV/QBO 导出文件，但 PDF 对账单可以追溯到 5-7 年前。需要补记多年账目的簿记员们面临着一个难题——他们要么手动重新输入所有内容，要么使用在财务版面中容易出错的通用 PDF 转换器。 Bank Parser 针对 Chase、美国银行、富国银行和 Capital One（支票、储蓄和信用卡）提供了专门的解析器。每个解析器都了解该银行特定的 PDF 布局，并提取每笔交易的 17 个字段，同时自动进行余额验证。 技术：Node.js + pdfjs-dist，无需 OCR（基于文本的 PDF）。总共有 8 个解析器（4 家银行 × 2 种账户类型）。 免费试用（200 次操作，无需信用卡）。</code></pre>

我构建这个工具是因为我厌倦了所有 AI 工具都把我的数据发送到别人的服务器。n0x 通过 WebGPU 运行全栈 LLM 推理，包括自主 ReAct 智能体、基于你自己的文档的 RAG，以及通过 Pyodide 进行沙盒化的 Python 执行，所有这些都在一个浏览器标签页内完成。 无需账户，无需密钥，无需后端。模型只需下载一次，永久缓存在 IndexedDB 中。 最大的挑战是为智能体循环进行上下文窗口预算，以及使 WASM 向量搜索无阻塞。 欢迎讨论架构。 GitHub: <a href="https:&#x2F;&#x2F;github.com&#x2F;ixchio&#x2F;n0x" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;ixchio&#x2F;n0x</a> | 演示: <a href="https:&#x2F;&#x2F;n0x-three.vercel.app" rel="nofollow">https:&#x2F;&#x2F;n0x-three.vercel.app</a>

构建了一个轻量级的 Vue 3 OTP 输入组件。 Composition API 自动聚焦 + 退格键处理 完全可定制 小巧的 bundle 体积 简单易用，旨在干净利落地处理常见的边缘情况。 仓库：<a href="https:&#x2F;&#x2F;github.com&#x2F;pratik227&#x2F;vue-otp-pro" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;pratik227&#x2F;vue-otp-pro</a>

大家好，我是 QuickSummarize 的开发者。我开发了一个开源的 Chrome 扩展程序，可以通过字幕来处理 YouTube 视频。 核心理念是让视频问答以字幕为先，而不是把一次性的摘要当作全部记忆。 目前的工作流程包括： * 摘要 * 以字幕为先的聊天 * 时间轴浏览 * 字幕导出 它在 Chrome 侧边栏运行，目前主要针对 YouTube。 我比较关注的几个实现选择： * 字幕是后续提问的主要信息来源 * 支持自带 API，而不是另一个付费订阅服务 * 同时支持兼容 OpenAI 的 API 和 Anthropic 风格的 API * 英文/中文界面 虽然还处于早期阶段，但对我来说，它已经比通常的“总结这个视频”流程更有用了。 特别希望得到以下方面的反馈： * 以字幕为先的聊天是否真的是正确的用户体验 * 大家如何看待长视频的记忆/检索 * 字幕可靠性的边缘情况