最新

我制作这款游戏的时候，正在开发一个关于英语拼写的项目。我读到关于同音异义词的内容，对同音异义词能如何改变一个词的形态印象深刻，于是开始尝试制作一些基于此的小游戏。 我添加了更多变换方式，比如变位词、动词/时态变化，但答案总是过于明显。我无法充分扭曲单词，让游戏变得有趣。突破点在于复合词对。通过复合词（sea → horse，通过seahorse）从一个词跳到另一个词，真的会模糊路径，而这正是游戏突然变得有趣和不可预测的时候。 我一直在和朋友们分享这款游戏。我在英国，所以测试者也主要是英国人，请注意，其中一些同音异义词可能带有英式英语的特点。 他们每天都在玩，而且似乎已经上瘾了，所以我觉得值得在这里发布。这款游戏主要是一天一个谜题，这样我实际上就有时间精心挑选那些路径令人满意的谜题。今天的谜题比较简单，但它们可以变得非常棘手。游戏的名字来源于“betwixt”，整个游戏都围绕着在两个单词之间移动。后来我才注意到，有一个60年代的同名棋盘游戏，但它们是完全不同的东西。

在下方评论 :]

大家好，我是 Smyan，我喜欢构建智能体。现代多模态大型语言模型在视觉和感知方面表现出色，但在定位方面却相当薄弱。当我们将 RPA 框架交给智能体来执行计算机使用任务时，这自然会带来一个巨大的问题。 对于浏览器，我们已经通过使用 DOM 树为 LLM 提供结构提示解决了这个问题，最近，现代浏览器使用框架使用 Set-Of-Marks 提示，它获取网页的结构信息并将其转换为带有标签的视觉边界框，这使得 LLM 可以利用其强大的视觉和感知能力，并将其准确地转换为一种定位形式。从功能上讲，这意味着 LLM 现在只需要说“点击 4”而不是说“点击 443 213”。 然而，当我们尝试将其应用于原生操作系统自动化时，这种方法却彻底失败。原生应用程序通常存在的辅助功能树通常非常脆弱，会暴露不确定的选择器，并且经常被开发人员剥离，这使得定位元素变得困难。模糊匹配可以对此有所帮助，但要正确实现仍然非常困难。 这正是我创建 SoMatic 的原因。SoMatic 是一个纯视觉框架，它使用微调的 YOLO 模型（灵感来自 OmniParser v2）来识别 UI 中的文本和可交互元素。YOLO 模型在 CPU 上使用 ONNX 本地运行，速度非常快。SoMatic 绘制边界框和标签，然后将每个边界框的 ID 映射到给定框中心的坐标。因此，这使得 Set-Of-Marks 提示原则上适用于任何用户界面。 我使用该框架和 GPT-5.5 (high) 运行了一个消融基准测试，结果准确率比原始模型高出约 20%。然而，令人惊讶的是，该模型在仅知道边界框的位置（实际上没有看到它们）的情况下表现略好。这可能是由于 YOLO 模型的阈值调整导致绘制的框过多或过少（我不太确定）。 无论如何，如果您一直想让您的 AI 智能体完全自主地控制您的计算机（Windows、Mac 和 Linux），您可以使用以下命令下载 CLI： ``` npm install -g somatic-cli/cli ``` 以及相应的技能： ``` npx skills add Smyan1909/SoMatic ``` 如果希望模型直接解析来自所选 API 的屏幕截图（b64 编码），而不是在每次屏幕截图后读取图像，CLI 还附带一个 stdio MCP 服务器。 我很乐意收到您对纯视觉方法的反馈。我们是否已经到了可以最终放弃自动化中混乱的操作系统辅助功能树的地步？