1作者: jpgerek8 个月前
作为一名数据工程师,我经常纳闷为什么这么多公司不对他们的 Spark 作业进行单元测试。 根据我的经验,主要原因有: - 创建 DataFrame 夹具(数据和模式)耗时太长 - 跨多个表进行调试很复杂 - 样板代码冗长且重复 为了解决这些痛点,我构建了 PyBujia,一个框架,它: - 允许你使用 Markdown 定义表夹具,以促进 DataFrame 的创建、调试和可读性。 - 泛化了样板代码,节省了设置时间 它让我的 Spark 作业测试变得容易多了,现在我使用 TDD(测试驱动开发),我希望它也能帮助其他数据工程师。 欢迎提供反馈!
1作者: ge0rg3e8 个月前
我厌倦了无休止的公关审查,以及对遗漏安全漏洞的持续担忧,所以我创建了 Shieldcode。<p>它的功能: - 自动扫描新的拉取请求,查找错误和漏洞 - 在 GitHub 上直接评论,提供清晰、可操作的反馈 - 开箱即用,无需复杂设置<p>接下来:NPM VScan,它将在每次推送时检查您的 npm 依赖项,查找漏洞或恶意软件。<p>我很乐意听取您的想法和反馈! <a href="https:&#x2F;&#x2F;shieldcode.space" rel="nofollow">https:&#x2F;&#x2F;shieldcode.space</a>