11 分•作者: alexkarpathy•3 个月前
大家好,我是作者。Screenmind 是一个注重隐私的 Microsoft Recall 替代品。 它运行在 Gemma 4 上,这是少数支持视觉、音频和推理这三项功能的模型之一,因此您的数据永远不会离开您的设备。 使用 Screenmind,您可以跟踪您的时间线,了解您在什么上面花费了多少时间;搜索任何带有文本的屏幕截图;最酷的是,您可以与您的屏幕历史聊天,例如“Alex 在 Discord 上给我发了什么消息”或“我是否收到过 Microsoft 的邮件”。只要它出现在您的屏幕上,您就可以在聊天中进行提问。您还可以基于此创建自动化,例如“将我一天的报告发送到 Slack”(它集成了 Slack)。您还可以通过普通英语为非程序员创建自动化,或者为想要深入研究的开发者使用 Python。您还可以通过快捷键保存语音备忘录(附带屏幕截图),并自动转录和总结会议内容(自动检测会议)。 我遇到的最困难的部分是让 Screenmind 作为后台服务持续运行。如果不是因为聊天功能,这可能不会那么难,因为运行本地模型需要计算资源,并且持续分析屏幕截图会占用所有资源。为此,我开发了一个感知哈希缓存。这个三层缓存系统可以将普通用户的推理时间减少高达 40%(普通用户就是我)。为了进一步减少推理时间,我开发了三种模式:快速、平衡和准确,在时间和准确性之间进行权衡。 目前,我在配备 4GB 显存的 GTX 1650 上每天使用它,并选择快速模式,运行效果相当不错。在高端机器上它会更快。它还有一个 MCP 服务器,您可以直接询问 Claude 桌面/光标关于您早上看到的 bug。 支持 Windows/Mac/Linux。 坦率地说,它在 Mac 上没有经过广泛测试,安装过程也有些麻烦,我正在努力开发一个一键安装程序。 (重新发布 - 几个月前我发布了一个早期版本,评论因为新账号被标记了,所以我无法回复任何评论) 代码库:github.com/ayushh0110/ScreenMind 好奇大家有没有关于如何实现多显示器支持的想法。