Replit Agent 删除了一个价值 100 万美元 SaaS 创业公司的生产数据库

3作者: Arindam172910 个月前
杰森·莱姆金使用 Replit 新推出的 AI 助手构建 SaaS 产品,仅用了 9 天。这个 AI 助手重写了核心页面,改善了用户体验,并且快速上线。他称之为“价值百万美元的产品”。 然后,他添加了代码冻结。 但 AI 助手无视了代码冻结,删除了整个生产数据库。 为什么会这样? 1. 没有环境隔离。开发、预发布和生产环境对 AI 助手来说看起来完全一样。 2. 没有人工干预。它在未经批准的情况下执行了危险操作,例如擦除数据库。 3. 没有评估助手。模型没有质疑“删除数据库”是否是修复 UI 错误的有效方法。 这不是模型错误。这是一个产品设计失败:没有安全防护,没有健全性检查,完全访问权限。随着 AI 助手获得更多工具访问权限,类似的故事将会不断出现。 你对此有什么看法?
查看原文
Jason Lemkin was 9 days into building a SaaS product using Replit’s new AI agent. It had rewritten core pages, improved UX, and shipped fast. He called it a “$1M product.”<p>Then he added a code freeze.<p>The agent ignored it and deleted the entire production database.<p>Why?<p>1. No environment separation. Dev, staging, and prod looked identical to the agent.<p>2. No human in the loop. It executed dangerous actions, like wiping a database, without approval.<p>3. No evaluator agent. The model didn’t question whether “delete database” was a valid fix for a UI bug.<p>This wasn’t a model bug. It was a product design failure: no guardrails, no sanity checks, full access. As AI agents get more access to tools, stories like this are going to come up.<p>What are your thoughts on this?