最新

大家好，我是 TrulyTyped ( <https://trulytyped.com> ) 的 deepan。我正在开发一款文档写作应用，它可以让你非常容易地了解文档是如何创建的。 现在，任何文本都可以由 AI 生成，那么你如何判断某些内容是真正生成的还是创作的呢？在文本生成之后，检测 AI 是不可能的。无论水印、语言学检查还是“感觉检查”都无法持续有效地工作。学校和期刊使用的 AI 检测器很容易被绕过。 为什么我们需要解决这个问题？首先，这并不是反 AI 的立场。在过去的 10 年里，我一直在医疗保健、网络安全和隐私领域训练机器学习模型，并且开源了一些东西 ( <https://github.com/deepanwadhwa> )。我认为，从根本上来说，我们需要弄清楚如何区分人类体验和 AI，这样我们才能持续地接触到人类。通过面对面、写作、音频或视频的方式。通过文本的接触已经变得支离破碎，我们在互联网上可信赖的写作材料的范围已经缩小。我认为音频、视频和面对面的情况也会出现类似的轨迹。 那么，TrulyTyped 如何解决这个问题呢？在 TrulyTyped 中撰写的每个文档都包含信息，例如实际输入的文本量、粘贴的文本量、使用了多少个来源、有多少作者参与。每个文档还带有标志，例如已验证的人类、检测到机器人、未验证。未验证适用于人类转录（基本上是通过键入复制）文本，同时查看另一个标签或书籍的情况。该产品的核心论点是，纯粹由人类生成的内容将变得越来越重要。 由于我来自隐私和安全背景，因此每个个人资料和帖子默认都是私密的。你可以决定是否公开。我们还有一个非常严格的机器人和自动化防御措施——如果你是自动化专家——尝试用脚本指向该应用程序，看看是否可以在文章上获得已验证的人类标志（如果你真的破解了它，请联系 team@trulytyped.com）。我们不想将你的数据用于任何 LLM 训练，也不想将你的数据出售给任何经纪人。 目前，我们的主要市场是学术期刊、新闻媒体和大学，以及只想写作并与他们的受众分享的普通人。 我们在这一产品中是独一无二的，竞争存在于不同的层面。Google Docs 和 Microsoft Word 都是写作应用程序，但它们并不能真正告诉你文档是否实际上是由人类创建的。我们用一堆测试脚本指向了 Google Docs，并用真实的击键生成了整篇文章，但 Google 却没有检测到任何异常。我们遇到过很多 AI 检测器，它们显示了文本中人类或 AI 的占比，但它们都非常容易被绕过。 我对这个问题充满热情，希望听到你的反馈、批评和兴趣。 谢谢， 附言：我亲自输入了所有内容。在 TrulyTyped 上，你不需要这么说。

我一直在琢磨这个疯狂的想法。程序可以被生成吗？受到近期世界模型进展的启发，我思考我们是否可以摆脱源代码，直接、交互式地生成像素。<p>为了验证这个想法，我着手创建一个神经窗口管理器，训练一个神经网络来预测屏幕接下来会是什么样子。<p>基本上，这个想法是基于最后两帧和鼠标位置来生成下一帧。就这么简单：移动窗口，无需编写事件系统，只需一个简单的卷积神经网络来猜测像素。<p>为了实现这个实验，我使用了 Pygame 来模拟一个绿松石色的桌面背景、一个带有深蓝色标题栏的灰色窗口、一个白色光标，总共使用了四种颜色。然后，一个机器人随机拖动窗口，我记录了所有内容，将帧处理为颜色索引矩阵（不是 RGB，以避免复杂性）和导致每次转换的鼠标增量（dx, dy, click）。8000 帧，在 Colab 中花费了几分钟。<p>该模型是一个 UNET（U-Net）。编码器压缩堆叠的帧，解码器重建下一帧，鼠标向量坐标通过一个线性层进行投影，以适应瓶颈的空间大小。在那里，它们在解码前被连接起来，这样运动信息就会馈送到每个跳跃连接中。<p>而且它奏效了！这仍然让我有点惊讶。你可以拖动，窗口会跟着你；当你释放时，它会停止。没有内部状态，任何地方都没有 (x, y) 坐标。模型从它所看到的内容中推断出位置，这在它不奏效之前一直有效。但在几秒钟的奇怪运动之后，窗口开始变形。<p>这可能会随着训练和更多示例的计算能力的提高而得到改善，但为了缩小实验范围并在 Web 浏览器中进行测试，我决定放弃渲染方面，让模型预测基元而不是像素，简单地将运动引擎转换为神经网络。<p>基本上，我训练了一个小型 MLP 来接收（到标题栏的距离、到调整大小点的距离、点击）并生成（dx, dy, dw, dh），有两个独立的头部：一个用于移动，一个用于调整大小。诀窍是它们除了点击信号外什么都不共享，因此模型不会将拖动与调整大小混淆。然后我将其导出到 ONNX，现在一切都在浏览器中运行，无需服务器，只需一个 canvas 元素和两个相互通信的小型神经网络。<p>通过这种新方法，渲染器保持确定性，用 JavaScript 绘制矩形，但窗口的行为（它移动的位置、如何调整大小）是从示例中学习的。它感觉像是传统和神经之间的特殊中间地带，因此你可以通过与网络交互来感受网络所学习的空间：靠近标题栏拖动会移动它，但靠近角落会调整窗口大小。没有条件语句或热区代码；网络只是从示例中学习了这些区域的位置。<p>有时它会在边缘附近混淆，坦率地说，这比它完美运行更有趣；你可以感知概率是如何变化的。当你思考这个问题时，这是有道理的，因为这些模型中没有存储 (x, y) 坐标；位置隐含在激活中。它对于短序列效果很好，但在需要长时间保持状态时会失败。<p>更新：几周后，Meta 发表了 Neural Computers 文章（2604.06425，值得一读）。前提是一样的，但他们走得更远：cli 和 uis，真正的程序。它们的失败模式与我发现的纯像素版本几乎相同：“在例行重用、受控更新和符号稳定性方面仍然存在挑战。” 这是一种更花哨的说法，即窗口在几秒钟后会模糊（这就是选择确定性渲染的原因）。