最新

Hi HN，我是 Hugo。过去一个月我一直在构建 Rocky，并以开放的方式快速发布。二进制文件位于 GitHub Releases 上，PyPI 上有 `dagster-rocky`，VS Code 扩展程序在 Marketplace 上。我一直推迟更广泛的公告，直到信任系统界面足够清晰，可以作为一个整体来讨论。治理路线图——列分类、按环境屏蔽、每次运行的 8 字段审计追踪、`rocky compliance` 汇总、角色图协调、保留策略——上周在 engine-v1.16.0 中端到端落地，并在 v1.17.4（标记为 2026-04-26）中完善。这就是我一直在等待的里程碑。 介绍：保留 Databricks 或 Snowflake。引入 Rocky 用于 DAG。Rocky 是一个基于 Rust 的仓库管道控制平面。存储和计算保留在你的仓库中。Rocky 拥有图——依赖关系、编译时类型、漂移、增量逻辑、成本、沿袭、治理。这些是你的当前堆栈无法提供的东西，因为它不拥有 DAG。 我认为有几点很有意思： - 分支 + 重放。`rocky branch create stg` 为你提供管道表的逻辑副本（目前是模式前缀；原生 Delta SHALLOW CLONE 和 Snowflake 零拷贝即将推出）。`rocky replay <run_id>` 重建了哪些 SQL 针对哪些输入运行。在仓库上实现 Git 级别的 workflow。 - 来自编译器的列级沿袭，而不是事后图爬取。类型检查器通过连接、CTE 和窗口跟踪列。VS Code 通过 LSP 内联显示它。 - 治理作为一级界面。列分类标签加上按环境屏蔽策略，通过 Unity Catalog（Databricks）或屏蔽策略（Snowflake）应用于仓库。每次运行的 8 字段审计追踪。`rocky compliance` 汇总，CI 可以对其进行控制。通过 SCIM + 按目录 GRANT 进行角色图协调。带有仓库端漂移探测的保留策略。 - 成本归因。每次运行都会产生每个模型的成本（字节、持续时间）。`rocky.toml` 中的 `[budget]` 块；违规会触发 `budget_breach` 钩子事件。 - 编译时可移植性 + 爆炸半径。跨 Databricks / Snowflake / BigQuery / DuckDB 的方言差异 lint（12 个构造）。`SELECT *` 下游影响 lint。 - 基于模式的 AI。生成的 SQL 会经过编译器——AI 建议在落地之前进行类型检查。 Rocky 不是什么： - 不是仓库——它是其上的控制平面。 - 不是 Fivetran 的替代品。`rocky load` 处理文件（CSV/Parquet/JSONL）；对于 SaaS 来源，请使用 Fivetran、Airbyte 或仓库原生 CDC。 - 不是 dbt Cloud——没有托管 UI，没有托管调度程序。如果你需要编排，可以进行一流的 Dagster 集成。 适配器：Databricks（GA）、Snowflake（Beta）、BigQuery（Beta）、DuckDB（本地开发/playground）。Apache 2.0。 我很乐意收到关于信任系统框架、治理界面（特别是 `rocky compile` 中的分类到屏蔽解析和 `rocky compliance` CI 门控）、分支/重放设计、成本归因原语或任何其他引起你注意的方面的反馈。很乐意在讨论中深入探讨。