最新

在大型（32块GPU）自托管设置或小型多机架设置中，人们如何测量GPU的功耗？我见过一些可以收集和传输数据的PDU（电源分配单元），但我不太清楚具体流程，以及人们是否/如何在小型设备上进行功耗测量。 目前，我通过每100毫秒轮询NVML的`nvmlDeviceGetPowerUsage`来收集推理过程中的数据，并计算每次请求的峰值和平均功耗，得到的数据如下： | 模型 | 平均功耗范围 (W) | 波动范围 | 标准差 | | :----------------------- | :--------------- | :------- | :----- | | qwen3-8b | 114.3-121.9 | 7.6W | 1.17 | | llama-3.1-8b-instruct | 104.7-122.1 | 17.4W | 4.29 | | qwen2.5-1.5b-instruct | 53.7-73.0 | 19.3W | 5.23 | | mistral-7b-instruct-v0.3 | 96.2-120.0 | 23.8W | 6.01 | | qwen2.5-7b-instruct | 88.7-124.5 | 35.8W | 7.73 | | gemma-3-1b-it | 49.4-56.7 | 7.3W | 2.13 | 这是单卡、每GPU的数据——我不知道在机架规模下是否还能进行每次请求的功耗归因，或者说在那里的监控是否完全在PDU/BMC层面进行。

几年前，我使用 Wireshark 嗅探并解码了 Shure MVX2U 的协议。Shure MVX2U 是一款适用于专业麦克风的 USB/3.5mm 转接器。Shure 没有提供在 Linux 或 Android 上更改转接器设置的方法，而我也没有 Windows/Mac 电脑，于是我用 Python 编写了一个命令行客户端，并开发了一个 Android 应用。命令行工具存在一些小 bug，而且我一直无法同时在一个端点上更改设置、在 Python 脚本中监控音频端点，并在另一个应用中收听。这并没有太困扰我，因为我的主要目标是让我和我的搭档能够通过手机调整麦克风增益（自动增益和压缩效果不尽人意）以及切换幻象电源，以用于音乐和戏剧项目。 （此后我改用了经过深度修改的 Zoom F3，并配置了直连的 Schoeps CMC1 放大器，采用 M/S 配置；它的尺寸/重量几乎相同，底噪大幅降低，支持板载录音，并且立体声宽度可调……不幸的是，这个新设置的成本是 MVX2U + sE8 或 NT5 的 10 倍以上） 我曾几次心不在焉地尝试重组我的 Python 代码结构，合并长期未被注意的拉取请求（PR），并试验新的音频/USB/HID 模块，但始终没有足够的时间和动力来彻底重写所有内容并实现音频监控功能。每一次重写尝试都会产生 1 到 2 个新的 Git 分支，让我“下次再来”时需要处理更多内容。这个项目从未变得更简单！ GitHub 上的 Humblemonk 出现了。这位开发者使用 Claude 对我的协议文档进行了分析，从而编写了一个 Rust 设备探测器和 TUI（文本用户界面），支持音频监控，并包含了我功能的一个超集。这个应用程序修复了已知的 bug，增加了新的 MV 设备，并支持 Mac 和 Windows。 如果您需要另一个关于 AI 结对编程能够构建有效工具的轶事，那么这就是我的认可。相信我，我并不是 Rust 重写的爱好者（uutils 中的 u 代表“ughhh”），但我很高兴看到一个比我编写的应用更好的替代方案，它基于我的探索性工作实现了 Shure 的 USB 协议，并让更多用户能够使用商用音频设备。

这是一个自托管的开源项目管理器。<p>它叫做 Seeder，取自“播种”新事物的理念，你悉心照料它直到它茁壮成长……哈哈，但说真的，它足以满足小型团队的需求，如果你有任何改进建议，请告诉我。<p>请访问 https:&#x2F;&#x2F;seederpm.xyz 查看。