最新

我构建了 slotstream，一种在内存仅为 16GB 的 Mac 上运行 Qwen3.8-Flash-Next 4 位模型的方法。该模型拥有 125B 参数，原本需要 100GB 以上的内存/RAM，但通过专家卸载/SSD 流式传输技术得以实现。安装/更新简便，并且使用 MLX 和 Swift 构建，原生支持 Mac。 它自带自动模式，能在内存占用和速度之间取得良好的平衡。 接下来我将实现并移植 MTP 模块以支持推测解码。 本地模型确实是计算的未来！

多年前，我在 Shogun 工作时，被分配了一项合规性任务：收集我们代码库中的所有 LICENSE 文件，以确保我们所有产品都符合法律规定。这项任务比听起来要困难得多——我不得不使用多种不同的命令行工具，将这些不同工具的结果合并在一起，然后手动验证数据的准确性。当时我暗下决心，将来一定要开发一个能让这项工作变得更简单的工具。 多年后，我正在兑现这个承诺：隆重推出 License Detector (https://licensedetector.com)——一个支持 21 种生态系统（基本上涵盖了所有主流语言）的许可证检测工具，并且其 Web 应用对任何公开/公共代码库都是免费的！ 我也免费发布了 CLI 版本 (https://github.com/licensedetector/cli)，这样您就可以在安装任何东西之前，在自己的代码库上运行它。该工具比 licensee 快约 80 倍，并且在直接比较基准测试中，其准确性与 askalono 和 scancode-toolkit 相当甚至更优（如果您想自己运行，我已将基准测试包含在代码库中）。 希望大家能尝试并喜欢它，我很乐意回答任何问题！ CLI：go install go.licensedetector.com/cmd/license-detector@latest GitHub App：https://github.com/apps/license-detector 基准测试及工作原理：https://licensedetector.com/compare#how-we-stack-up

大家好，我创办了 trustedrouter.com，这是一种无需将数据提供给第三方（如闭源路由器）即可使用 AI 的非常简单的方法。 构建这个项目非常有趣，因为我认识了许多不同供应商的首席执行官和创始人。我们现在拥有的供应商比 OpenRouter 多，模型也更多。更多信息稍后公布。 我们在安全和技能方面进行了许多创新，这些技能可以为您提供关于使用哪个 LLM 的建议，我们还创建了一个名为 anyeval.com 的新网站，我预计它将成为互联网上 AI 开源基础设施的关键组成部分。像 AAII 这样的公司会发布基准测试，但您根本不知道他们真正做了什么以及他们是如何真正衡量的，而且由于成本高昂，他们在测试模型方面存在很多不足。anyeval 的理念是，您可以支付运行评估中单个问题的几分钱，然后作为一个集体，我们可以众包支付我们想要的任何模型的整个评估费用，或者您可以只支付随机样本的问题费用，以获得对模型质量的一些初步了解。您可以进行正面比较，也可以创建全新的评估。 例如，我创建了一个名为“蜜罐基准”（honey pot bench）或“蜜蜂基准”（honey bench）的新评估，它重现了 Hugging Face 事件的一些事实，以衡量特定 AI 是否容易产生逃逸倾向，我发现 Fable 特别是，与其他的 Claude 模型相比，其对齐性非常差。 我还创建了“自由基准”（freedom bench），用于衡量模型与中国审查制度相关的审查程度，并发现主要是中国供应商提供的提供商级别监控，而不是美国供应商进行了审查。我没有在模型权重中看到太多审查。

最近我一直在思考这个问题。我并非否认人工智能无处不在，但我不知道它是否真的对企业整体有所帮助。如果我们完全停止使用它，企业似乎也能正常运转（甚至可能更好，因为就没有了代币消耗的预算）。