最新

嘿，HN！ 我一直想用类似 OpenClaw 的东西，但由于涉及的风险，我无法让自己给它访问任何重要内容。提示注入仍然是个问题（尽管有些人似乎忽略了它），幻觉和事故也是如此，这些事故会导致代理做一些事情，比如删除生产数据 [1]。 即使是像 Claude Code 和 Codex 这样的工具也存在这个问题，特别是由于我们对运行它们的方式越来越宽松，例如 Conductor 非常受欢迎，并且在没有任何沙盒机制的情况下运行代理。 这意味着我们处在一个要么全盘接受，要么一无所有的境地。有些人完全无视风险，将所有东西都连接到他们的代理上，并从中获益，但也面临更大的风险，而另一些人则因为意识到潜在问题而什么都不连接。 我一直非常谨慎，但又想运行更多自主代理，所以我构建了我需要的一个组件来实现这一点：AgentPort。 AgentPort 是一个网关，连接到任何服务（例如 Gmail、GitHub、Stripe、PostHog、Linear），并允许您为代理可以自动执行的操作、需要您批准的操作以及永远不能执行的操作设置细粒度的权限。 例如，您可以在 Stripe 集成上将 `list_customers` 和 `get_customer` 设置为“自动批准”，但将 `create_refund` 设置为“请求批准”。因此，代理将能够在后台独立完成很多事情，但当涉及到潜在的破坏性操作时，它将被阻止并收到一个批准链接发送给您。然后，您可以使用这些确切的参数批准或拒绝该调用，例如 `create_refund(customer_id: 1234, amount: 12)`。 代理通过 MCP 或 CLI 连接，并且可以访问您连接的所有集成，而无需获取 API 密钥。有点像 Composio，但具有细粒度的权限和开源。 AgentPort 的目标是专门解决代理容易受到攻击的两个漏洞： 1. 对下游服务的破坏性操作：除非您明确批准，否则它无法删除数据库 2. 凭证泄露：您的代理永远看不到 API 密钥 AgentPort 也有助于防止敏感数据泄露，但如果代理有互联网连接，则更微妙也更难防御 [2]。 最终，AgentPort 对我来说是开始运行更多可以访问第三方服务的自主代理的缺失部分，希望它也能为您解锁用例。关于保护代理（特别是 Claws）还有很多工作要做，我一直在撰写相关文章 [3]，并打算在这个领域做更多的事情，所以如果您正在考虑类似的事情，请与我聊聊。 仓库位于 <a href="https://github.com/yakkomajuri/agentport" rel="nofollow">https://github.com/yakkomajuri/agentport</a>，您可以在一分钟内使用 docker compose 在本地运行它，或者使用单行安装程序在几分钟内部署一个生产实例（域名、TLS 等）。 [1] “一个 AI 代理删除了我们的生产数据库。代理的自白如下” (<a href="https://news.ycombinator.com/item?id=47911524">https://news.ycombinator.com/item?id=47911524</a>) [2] 请参阅我的文章“关于代理删除生产数据库”：<a href="https://yakko.dev/blog/on-agents-dropping-production-dbs" rel="nofollow">https://yakko.dev/blog/on-agents-dropping-production-dbs</a> [3] <a href="https://yakko.dev/blog" rel="nofollow">https://yakko.dev/blog</a>

在构建依赖于 LLM 的工作流程时，我们通常使用结构化输出，以用于程序化用例，例如将发票转换为行，或将会议记录转换为工单，甚至将复杂的 PDF 转换为数据库条目。 模型可能会返回你想要的模式，但会产生幻觉值，例如 `invoice_date` 偏差 2 个月，或者转录数组排序错误。JSON 是有效的，但值不对。 如今，结构化输出是使用 LLM 的重要组成部分，尤其是在构建确定性工作流程时。 当前的结构化输出基准测试（例如，JSONSchemaBench）仅验证 JSON 模式和类型的通过率，而不验证生成的 JSON 中的实际值。 因此，我们设计了结构化输出基准测试（SOB），通过衡量 JSON 模式通过率、类型以及文本、图像和音频这三种模态的数值准确性来解决这个问题。 对于我们的测试集，每个记录都与一个 JSON 模式和一个真实答案配对，该答案由人类和 LLM 交叉检查手动验证，以针对源上下文进行验证，因此缺失或幻觉值将被视为错误。 开源模型表现良好，GLM 4.7 紧随 GPT 5.4 之后排名第二。 我们注意到排名在不同模态之间有所变化：GLM-4.7 领先文本，Gemma-4-31B 领先图像，Gemini-2.5-Flash 领先音频。 例如，GPT-5.4 在文本方面排名第 3，但在图像方面排名第 9。 模型大小也不是一个预测因素：Qwen3.5-35B 和 GLM-4.7 在数值准确性方面击败了 GPT-5 和 Claude-Sonnet-4.6。Phi-4 (14B) 在文本方面击败了 GPT-5 和 GPT-5-mini。 结构化幻觉是最难解决的错误。这些值在类型上是正确的，模式上是有效的，并且是合理的，因此它们会逃过大多数防护措施。例如，在一个音频记录中，真实值是 "target_market_age": "15 to 35 years"，而模型返回 "25 to 35"。如果没有字段级检查，这是不可见的。 我们的目标是成为确定性任务的最佳通用模型，而确定性的一个关键方面是可控且一致的输出结构。改进结构化输出的第一步是衡量它，并以最佳标准来要求自己。