10 分•作者: datafreak_•4 个月前
大家好,我开发了 StackScope,一个用于追踪新产品发布并展示其技术栈的爬虫/目录。
它会监控 Product Hunt、Show HN 和 PeerPush 上的发布信息,然后爬取每个产品背后的公开网站。目的是展示人们实际使用的技术:托管、框架、分析工具、DNS、安全头、法律页面、AI 构建器信号以及其他公开线索。
我开始开发它的原因在于,大多数技术栈检测网站都是从整体上分析网站。我更关注当前的独立开发者发布场景:人们在首次公开发布产品时,当下正在选择什么。
一些实现细节:它基于 .NET 构建,使用 Playwright 处理渲染页面,并拥有一个自建的指纹目录,而非复制自 Wappalyzer 等工具。它会遵守 robots.txt,并且机器人会表明自己的身份。
令人沮丧的是,我仍在等待 Cloudflare 的机器人验证状态,目前这导致约 10% 的网站无法被访问。
还有一个私有的就绪性检查功能:粘贴一个 URL,即可获得相同风格的报告,然后进行修复和重新爬取。无需注册账户或提供邮箱。
我很想听听大家对这个工具的实用性、方法论以及任何明显的误报的反馈。
Jonathan。