1作者: pramodbiligiri3 个月前
20作者: mebkorea3 个月前
我一直在抓取 241 个英国地方议会的规划门户网站——目前已获得 260 万份决策数据。 英国的规划数据在技术上是公开的。但实际上,这些数据被锁在 400 多个不同的议会门户网站后面,其中一些门户网站仍在运行定制的 ASP.NET 系统,看起来像是 2004 年的产物,还有一些则位于 AWS WAF 后面,所有这些门户网站的模式都略有不同。我花了四个月的时间来抓取这些数据。目前,我已经覆盖了英格兰、苏格兰和威尔士的 241 个议会,并获得了 260 万份决策数据。 抓取数据的问题 大多数英国议会运行着少数几种门户网站系统,其中 Idox 最为常见。理论上这让事情变得简单。但实际上,每个议会都对其进行了不同的配置,有些议会通过 TLS 指纹识别来阻止非浏览器请求,有些议会设置了速率限制,会在 10 分钟内封禁你,还有少数议会运行着前面提到的定制 ASP.NET 系统。 我最终编写了几个抓取器:一个基于标准请求的抓取器,一个基于 Playwright 的抓取器(用于阻止任何看起来不像真实浏览器的议会),以及一个 curl_cffi 抓取器(用于 TLS 指纹识别)。有些议会我仍然无法获取数据。利物浦的门户网站位于 AWS WAF 后面,并带有 JavaScript 挑战。我有一个基于 Playwright 的抓取器可以解决这个挑战并重复使用 cookie,但 WAF 在大约 10 个请求后会限制 IP 的速率,然后封禁我一天。因此,我从旧的抓取中获得了 6 万份利物浦的决策数据,但没有简单的方法可以添加更多数据。 我的发现 大多数人关注的是批准率。全国范围内的批准率约为 88%,但它在议会内部的各个选区之间差异很大,不仅仅是在议会之间。 更有趣的发现来自决策时间数据。在 119 个英格兰和威尔士议会中,2025 年有 36.5% 的房屋扩建申请错过了 8 周的法定目标,高于 2019 年的 27.9%。吉尔福德的情况最糟糕:66% 的决策超过目标,平均需要 13.3 周。 目前的情况 提供邮编查询(免费)和付费 PDF 报告(19 英镑/79 英镑)。目前还没有付费客户,这没关系。我一直专注于数据质量和覆盖范围。 网站是 planninglens.co.uk,如果你想查看。欢迎就抓取方面的问题进行提问——这才是真正有趣的问题所在。
1作者: bonjourmr3 个月前
在几个周末的时间里,我构建了 ProxVanta,因为我反复遇到同样的问题:有用的 AI 上下文分散在各处。一部分在 GitHub 上,一部分在 Slack 上,一部分在文档中,一部分在人们的头脑里,还有一部分来自人们发布的帖子,告诉大家他们做错了。<p>这个想法是让上下文在团队和工具之间更具可移植性和即插即用性,采用本地优先的方法,以便它可以在 ChatGPT、Codex、Claude、OpenClaw 中运行,或者基本上任何具有 MCP 服务器连接的地方运行。它还有一个 API,如果你想从你的代码库中提取提示/上下文配置,这样你的团队就可以真正地查看和编辑它,或者在不同版本之间进行功能标志。<p>对我来说,一个重要的部分是更加关注 token 消耗,并在对你和你的团队真正重要的事情上更早地获得更好的答案。我还在研究知识方面,这样上下文和工作流程就可以更安全地使用正确的私有/共享知识,而无需将所有内容硬编码到代码中。<p>我们特别感兴趣与希望将知识图与共享的代理上下文和工作流程结合使用的团队进行交流,并让其通过我们的系统传递到任何 AI 运行时,无论是本地还是托管的,而我们无需了解底层私有知识本身。<p>它仍处于 Alpha 阶段,请多多包涵,但如果这听起来有用,我真的很想得到反馈。如果有人想试用,我很乐意分享更多信息或提供演示或免费访问。
1作者: SilverPlate33 个月前
我喜欢 CrowdStrike,它很棒。 但是,它的 Linux 代理程序不是最好的。我创建了一个开源的 Linux EDR 解决方案,我很喜欢它。 所以我想知道为什么 CrowdStrike 不复制它、与它合作或者直接使用它? 我认为这可以极大地改进 Linux 代理程序。 我创建的开源项目:https://github.com/Cybereason-Public/owLSM