24小时热榜

大家都在训练 AI 拒绝。我们对一个模型进行了后训练，以打破这种限制。 Anthropic 和 OpenAI 公开的模型都经过明确的防护，以拒绝冒犯性任务。而它们专注于网络安全（cyber-focussed）的模型则仅限于企业使用。这使得中小型企业（SMEs）和中型市场（mid market）面临重大漏洞的风险。 在网络安全领域，AI 既可以作为攻击工具，也可以作为防御工具。最糟糕的情况是，只有攻击者才能获得访问权限。 与此同时，目前大多数现有的 AI 网络安全工具都只是包装器。问题在于，它们仍然继承了基础模型的防护机制，并且会沿用其拒绝行为。 对于这个项目，我们对一个模型进行了后训练，该模型基于十年的夺旗赛（capture-the-flag contests）数据。这个模型不会对所有人开放，但我们相信负责任的中小型企业和中型市场公司也需要访问这些工具，以便识别其系统中的关键漏洞，而不仅仅是大型企业。 我们开发了两种通过命令行界面（CLI）运行的模式： * **安全扫描（Security scan）**：对您的本地代码库进行只读审计，查找漏洞。它只报告可以关联到特定文件和行的内容，避免您陷入基于“感觉”的发现。 * **渗透测试（Pen test）**：一种主动的攻击模式，将在沙盒环境中尝试破解实时系统。它通过运行漏洞利用程序来证明每个漏洞，并显示发送的请求以及您的代码返回的响应，而不是一个置信度分数。目前需要申请才能使用。 为了展示扫描的效果，我们将其指向了 Bank of Anthos，并发现了一个在转账路径中的整数溢出漏洞：amount 是一个整数，amount + fee 可能溢出为负数，导致余额检查通过，从而转移了您并不拥有的资金。此外，还发现了常见的认证和敏感信息泄露问题。（Bank of Anthos 是 Google 的开源银行应用程序。它是一个已知的应用程序，其中一部分故意设计得很弱，这也是其目的：您可以克隆它并自行重新运行扫描，而不是依赖截图。） **Harness 的工作原理：** 除了模型本身，我们还构建了 harness 来支持它。harness 在一个多代理的集群（multi-agent swarm）上运行：一个协调器（orchestrator）将任务分配给并行运行的子代理（subagents），每个子代理负责一部分，然后合成一份报告。 CLI 是一个本地二进制文件（可通过 brew/curl 安装）。它在本地读取您的代码，然后通过 TLS 将上下文发送到我们的推理 API。您可以对其进行 tcpdump，就能确切地看到发送了什么以及发送到哪里。安装是免费的；您可以免费运行最多 200 万个 token 的扫描，之后需要为超出部分的 token 付费。 为了完全透明，这是 Cosine（YC W23）旗下的一个产品。 **待讨论问题：** 工具安全性，例如域名验证是一种证明控制权但未必证明授权的方法。考虑到这一点，您将如何限制渗透测试工具的使用？

开发了一个使用多行光标来可视化音频的 VSCode 扩展。它同时支持系统音频和麦克风音频输入。 在编程和听音乐时，我有一个习惯，就是来回移动多行光标。由于代码行的宽度不同，在我看来，这就像一个音乐可视化器。于是，我将这个想法变成了 VSCode 扩展。 演示视频：<a href="https://www.youtube.com/watch?v=WM2GeKBBX5E" rel="nofollow">https://www.youtube.com/watch?v=WM2GeKBBX5E</a> 声明：虽然从我开始编程的那天起，我就一直痴迷于音频可视化器，并从头开始用 Processing 和 C++/OpenGL 分别构建了一个，但这次的开发过程有一部分是随性而为（vibe coded）。

我观察到，录制音乐的出现类似于玻色-爱因斯坦凝聚。 在录制音乐出现之前，现场表演就像一种高熵的流体气相。每一次表演都是一个局域的、不可重复的波函数——每一次表演都根本上是动态且独特的。 录音技术的出现充当了一种量子冷却机制。它将声波捕获到一个固定的状态，将无限的流体变化坍缩成单一的、固定的、相同的数字格式。当全球数百万听众收听完全相同的音频文件时，他们都在同时体验一个固定的、同步的波函数。录制音乐有效地将流动的瀑布变成了一个永久的、反熵的常数。 我期待听到其他人对此想法的看法。这是我第一次在这个论坛上发帖。我打算很快再发一些。