最新

我在本地/边缘机器学习方面一直遇到同样的问题：我浏览模型卡或开始下载模型时，直到后来才意识到它几乎无法在我的设备上运行，或者运行速度太慢而无法使用。<p>所以我构建了 willitrun，一个小的 CLI 工具，试图提前回答这个问题。<p>它会检查一个模型是否可能在给定设备上运行。当存在基准数据时，它会优先使用；否则，它会退回到一个轻量级的估算。目前涵盖了 88 个设备（台式机 GPU、服务器硬件、Apple Silicon 和 NVIDIA Jetson）上的 482 个基准测试，并内置了 HuggingFace 模型名称解析功能。<p>目前的目标不是做到完美，而是足够有用，以避免在花费时间手动下载或测试模型之前做出明显错误的选择。它对于像 Jetson Orin 这样的边缘设备也很有用，因为你可以在无需物理访问硬件的情况下检查性能。<p>大多数公开的基准测试都侧重于 LLM，但出于个人兴趣，我也尝试包含了其他类别。<p>我非常希望收到反馈，特别是关于估算不准确或缺少基准测试覆盖范围的情况。

MAIP 是一种开放标准，用于 AI 智能体和自主软件系统的加密身份、授权和信任评分。 [https://github.com/truthlocks/maip](https://github.com/truthlocks/maip)