1作者: marco_z1 天前
在不同组织构建机器学习系统后,我将编写的一些实用工具整合到一个库中。 这个库可以实现的功能: * 在对象存储上保存(和检索)模型检查点(可选使用内容可寻址命名方案) * 从对象存储中将数据集增量加载到 Pytorch 中,使用本地磁盘缓存 * 将训练指标存储到 SQLite 中 设计原则: * “云端简单,软件智能” - 我更倾向于使用对象存储和容器运行时等通用服务,而不是类似框架的抽象(例如托管的 MLFlow 或类似服务) * 以最直接的方式扩展 Lightning * 让用户通过对现有模型代码进行最少的更改来组装轻量级的 MLOps 流程 欢迎提出任何问题并提供反馈! 该库使用 Sonnet 进行了完善,但经过了彻底的人工检查。
2作者: Sudachidev1 天前
昨天读了这篇文章之后,<a href="https:&#x2F;&#x2F;news.ycombinator.com&#x2F;item?id=46296863">https:&#x2F;&#x2F;news.ycombinator.com&#x2F;item?id=46296863</a>,<p>我想稍微改动一下,于是就自己动手做了一个。<p>基本上,它会扫描页面上的所有段落,用日语罗马音替换其中的 5 个单词。这些单词的颜色会改变并加粗显示。当鼠标悬停在被替换的单词上时,会弹出一个小窗口,显示平假名和英文单词。<p>目前,它有一个小型的单词列表(111 个),所有单词都经过挑选,属于基础级别,并且(希望)在上下文中不会引起混淆。<p>我计划将单词列表扩展到大约 1000 个,并且每周循环使用 200 个单词,并有一定的重叠。<p>编辑:一个运行截图 - <a href="https:&#x2F;&#x2F;freeimage.host&#x2F;i&#x2F;fldb3KB" rel="nofollow">https:&#x2F;&#x2F;freeimage.host&#x2F;i&#x2F;fldb3KB</a><p>它也正在上传到 Firefox 插件商店,但需要一段时间。
3作者: dakingffo1 天前
Hi HN, 我是一名 C++ 学生,在过去的几个月里,我一直沉迷于并发数据结构的研究。现在我分享 daking::MPSC_queue,这是一个仅头文件、无锁、无界 MPSC 队列,旨在弥合链表灵活性和基于数组的吞吐量之间的差距。 1. 直面挑战:"链表瓶颈" 在传统的 MPSC 链表队列中,如果多个生产者尝试以高且均匀的频率入队单个元素,则由此产生的 CAS 争用会导致严重的缓存行弹跳。在这些饱和的均匀负载场景中,吞吐量会达到一个物理“下限”,其性能通常不如预先分配的环形缓冲区。 2. 针对现实世界场景的架构解决方案 该设计没有侧重于均匀负载下的平均吞吐量,而是针对两个特定的现实世界挑战: * 场景 A:非均匀争用(突发弹性) 在许多系统中,生产者通常处于空闲状态,但偶尔会发生突发。通过促进一个高速生命周期,其中节点块从消费者(回收)-> 全局堆栈 -> 生产者(分配)循环,且复杂度严格为 O(1),该队列可以在突发期间快速建立类似 SPSC 的性能,峰值约为 1.61 亿/秒。 * 场景 B:批量争用减少 enqueue\_bulk 接口允许生产者在私有内存中预先链接整个段。这减少了从 N 个原子操作到单个原子交换的争用。批次越大,争用越低。 3. 隐式分块和资源生命周期 内存管理通过 Page -> Chunk -> Node 层次结构进行,而不是碎片化的分配。 * 隐式组合:与分块数组不同,节点不是存储在连续的数组中,而是自由地组合成逻辑“块”。这保持了链表的灵活性,同时获得了块的管理效率。 * 零成本弹性:无界设计消除了流量高峰期间的背压停顿或数据丢失,堆分配频率降低到 log(N)。 4. 工程严谨性 * 安全性:已通过 ThreadSanitizer (TSAN) 和 ASAN 的全面审核。 * 类型安全:支持不可默认构造的类型;noexcept 自动推导。 * 轻量级:零依赖,仅头文件,并与 C++17/20 兼容。 关于基准测试的说明: 为了完全透明,我已将其与 moodycamel::ConcurrentQueue 进行了基准测试。在高度均匀、小粒度的争用场景中,我们的实现略慢。但是,daking::MPSC\_queue 在非均匀突发和批量传输场景中提供了 3-4 倍的性能提升,其中“零成本弹性”和减少争用是主要目标。 我很想听听您对这个存储库的看法! GitHub:[https://github.com/dakingffo/MPSC\_queue](https://github.com/dakingffo/MPSC_queue)
1作者: militanz1 天前
我最近在 HN 上读到过一篇关于这个话题的帖子,但现在找不到了,所以在这里写下我的想法。<p>最近,我开始了一个用 Rust 编写的业余项目,它从几个网站收集新闻,并为我创建一个每周摘要。<p>因为我只是为了好玩才做的,所以我开始开发一个抓取器。<p>然而,一个更简单的选择是使用网站的 RSS 订阅。因此,我也去找了它们,但很少有网站提供 RSS 订阅。<p>现在,随着 Agentic AI 的出现,RSS 订阅似乎已经过时,不再需要了。<p>你觉得呢?
2作者: mrsurge2 天前
我发布了 *Framework Shells* (`fws`):一个独立的 Python 包,用于编排长时间运行的后台进程(“shell”),支持 *PTY*、*管道* 和 *dtach* 后端。<p>这适用于那些不想搭建完整 supervisor 堆栈(或没有堆栈)的环境:快速的多服务原型、开发环境、受限的用户空间等。<p>### 它的作用<p>* 使用以下方式生成/管理 shell:<p><pre><code> * **PTY**: 交互式终端会话(调整大小、输入、流) * **管道**: stdin/stdout/stderr 流(适用于守护进程/LSP) * **dtach**: 可附着/分离的持久会话(在管理器重启后仍然存在)</code></pre> * *运行时隔离*(主要功能):shell 通过 `~/.cache/framework_shells/runtimes/<repo_fingerprint>/<runtime_id>/...` 进行命名空间管理,因此同一仓库的两个克隆可以并发运行,而不会出现交叉采用或交叉控制的情况。 * *控制界面*:CLI + 可选的 FastAPI/WS UI,用于列出、查看日志和生命周期操作。 * 可选的 *钩子*,用于主机集成(外部注册表/遥测)。<p>### CLI 快速入门<p>```bash # 列出 shell fws list<p># 运行一次性 shell(无规范) fws run --backend pty --label demo -- bash -l -i<p># 应用 YAML shellspec(推荐) fws up shells.yaml<p># 终止 shell fws down<p># 附着到 dtach 后端 shell fws attach <shell_id><p># 显示已管理的 shell + procfs 后代 fws tree --depth 4 ```<p>### Shellspec 示例<p>```yaml version: "1" shells: worker: backend: proc cwd: ${ctx:PROJECT_ROOT} subgroups: ["worker", "project:${ctx:APP_ID}"] command: ["python", "-m", "your_module.worker", "--port", "${free_port}"] ```<p>### 隔离 + 安全模型(默认简单)<p>* `FRAMEWORK_SHELLS_SECRET` 派生 `runtime_id`(命名空间)和 API 令牌。 * 如果设置了 secret,则修改 API 端点需要:<p><pre><code> * `Authorization: Bearer <token>` (或 `X-Framework-Key`)。</code></pre> * 如果未设置 secret,则禁用身份验证(开发模式)。<p>硬限制:如果两个运行时共享相同的 OS 用户/UID,OS 仍然可能允许相互发出信号。保证是:*通过库的控制平面*,不会出现交叉计数/采用/控制。<p>### 实际应用<p>我将其用作完整开发环境的基础,其中“应用程序是 shell”(终端、IDE + LSP、代理/MCP、aria2 RPC、文件浏览器、llama.cpp 运行器等)。仓库:<p>```text https://github.com/mrsurge/termux-extensions-2 ```<p>### 我想要的反馈<p>* secret/fingerprint/运行时隔离的契约感觉对吗? * 默认 API/CLI 中是否有明显的陷阱? * 与 systemd/supervisord/tmux/dtach 相比:您会在哪里使用它?<p>github.com/mrsurge/framework-shells<p>pip install "framework-shells @ git+https://github.com/mrsurge/framework-shells@main"<p>```bash fws --help ```
2作者: Zach_HE2 天前
Kling O1 (Omni One) 是由 Kling AI 开发的统一多模态 AI 模型,可根据任何输入创建和编辑视频和图像。Kling Video O1 支持文本生成视频、图像生成视频、关键帧生成视频和基于参考的视频生成。它支持风格化、图像修复、背景编辑、相机变换和多主体融合。Kling Image O1 支持精确的图像细节编辑和高度一致的风格控制。这种一体化 AI 工作流程非常适合打造完美、专业的创意作品。 欢迎反馈!