最新

我构建了一个基准测试，其中包含 18 个 Python 项目（如 Pillow、GitPython、yt-dlp、urllib3 等）中的 20 个真实 CVE。我针对 5 个 LLM 代理（3 个来自 OpenAI，2 个来自 Poolside）和 3 种不同的提示（完整咨询、定位、诊断）进行了测试，总共进行了 300 次运行。这些代理的任务是在沙盒环境中修复安全漏洞，并根据维护者自己修复的隐藏安全测试进行评分。 最佳解决率为 50%。在另外 50% 的情况下，有些修复有时是连贯的并且通过了所有回归测试，但漏洞仍然存在。 我发现模型之间的主要区别在于成本：gpt-5.5 的价格是 gpt-5.4-mini 的 12 倍，但产生的效果在统计学上相似。同系列模型之间的性能差距很小，这表明差异可能源于模型训练数据。我还进行了功效分析，要检测到有意义的同系列模型之间的优势，大约需要 700 次任务。 完整报告：https://giovannigatti.github.io/cve-bench 代码：https://github.com/GiovanniGatti/cve-bench

在过去几天里，Claude Code 命令行工具的响应速度非常慢。尤其是在 4.8 版本发布后，但今天，它已经变得完全无法使用。然而，状态页面上并没有报告任何问题。 我已经在 GitHub 上提交了一个问题，但几个小时过去了仍然没有得到回复。

您好 HN， 我叫 Preet Suthar，过去五年我一直在做自由职业。每个月与多个客户合作，要跟踪所有事情很快就变成了一项挑战。当客户要求增加工作量时，我很难有效地管理任务、文档和知识。这也给客户带来了问题，他们需要管理五个不同的平台来处理沟通、文档、知识库和项目管理。 我们最终开发了自己的内部解决方案：一个简单的客户门户。这个门户允许我们安全地沟通、存储文档、管理项目和访问公司知识。我们的客户非常喜欢这个解决方案，人们经常问我我的流程以及我们如何使用我们的内部工具。当我提到它时，他们似乎非常感兴趣。 我意识到这个解决方案对其他人也可能很有益，例如公司创始人、代理机构所有者和 SaaS 构建者。因此，我打磨了我们的内部工具，将其重命名为“Relysta”，并于本月推出了。它取得了相当大的成功，人们也很喜欢这个产品。 我很想听听您的想法和建议。 谢谢， Preet