最新

时隔许久，我花了不少时间重新审视了我的第一个开源项目。<p>+1300 个图标和 logo，伴随着一个全新的网站、高保真 SVG 文件、扩展文档以及对所有主流前端框架的支持。<p>GitHub 链接：<a href="https://github.com/vorillaz/devicons" rel="nofollow">https://github.com/vorillaz/devicons</a>

Show HN: VibeBrowser – 通过 MCP 让你的 AI 助手拥有你真实的已登录浏览器

我一直在抓取 241 个英国地方议会的规划门户网站——目前已获得 260 万份决策数据。 英国的规划数据在技术上是公开的。但实际上，这些数据被锁在 400 多个不同的议会门户网站后面，其中一些门户网站仍在运行定制的 ASP.NET 系统，看起来像是 2004 年的产物，还有一些则位于 AWS WAF 后面，所有这些门户网站的模式都略有不同。我花了四个月的时间来抓取这些数据。目前，我已经覆盖了英格兰、苏格兰和威尔士的 241 个议会，并获得了 260 万份决策数据。 抓取数据的问题 大多数英国议会运行着少数几种门户网站系统，其中 Idox 最为常见。理论上这让事情变得简单。但实际上，每个议会都对其进行了不同的配置，有些议会通过 TLS 指纹识别来阻止非浏览器请求，有些议会设置了速率限制，会在 10 分钟内封禁你，还有少数议会运行着前面提到的定制 ASP.NET 系统。 我最终编写了几个抓取器：一个基于标准请求的抓取器，一个基于 Playwright 的抓取器（用于阻止任何看起来不像真实浏览器的议会），以及一个 curl_cffi 抓取器（用于 TLS 指纹识别）。有些议会我仍然无法获取数据。利物浦的门户网站位于 AWS WAF 后面，并带有 JavaScript 挑战。我有一个基于 Playwright 的抓取器可以解决这个挑战并重复使用 cookie，但 WAF 在大约 10 个请求后会限制 IP 的速率，然后封禁我一天。因此，我从旧的抓取中获得了 6 万份利物浦的决策数据，但没有简单的方法可以添加更多数据。 我的发现 大多数人关注的是批准率。全国范围内的批准率约为 88%，但它在议会内部的各个选区之间差异很大，不仅仅是在议会之间。 更有趣的发现来自决策时间数据。在 119 个英格兰和威尔士议会中，2025 年有 36.5% 的房屋扩建申请错过了 8 周的法定目标，高于 2019 年的 27.9%。吉尔福德的情况最糟糕：66% 的决策超过目标，平均需要 13.3 周。 目前的情况 提供邮编查询（免费）和付费 PDF 报告（19 英镑/79 英镑）。目前还没有付费客户，这没关系。我一直专注于数据质量和覆盖范围。 网站是 planninglens.co.uk，如果你想查看。欢迎就抓取方面的问题进行提问——这才是真正有趣的问题所在。