8 分•作者: mousematrix•10 个月前
Hi HN,我们是来自 Xorq 的 Hussain 和 Dan。<p>多年来,我们一直苦于扩展在笔记本中有效但在生产环境中失败的计算能力,因此我们决定做点事情。数据有 Iceberg 和 Delta 这样的标准。但计算仍然一团糟——困在笔记本中,团队之间重复劳动,或者被嵌入到自定义的 Airflow DAG 中。我们认为 Xorq 就像 Apache Iceberg 的缺失的对应物,但用于计算。<p>在过去的一年里,我们一直在构建 Xorq,一个*计算目录*,帮助团队*重用、部署和观察*跨引擎的转换、特征、模型和管道。<p>Xorq 基于:<p>- *Arrow Flight* (`do_exchange`) 用于高速数据传输
- *Ibis* 用于跨引擎表达式树,序列化为 YAML
- 一个可移植的 UDF 引擎,将管道编译成 SQL 或 Python
- `uv` 使 Python 环境完全可重现<p>Xorq 的特点:<p>- pandas 风格的声明式转换,由 Ibis 支持
- 多引擎执行(例如,DuckDB、Snowflake)
- UDF 作为可移植的 Flight 端点
- 通过 flight_udxf 算子提供可服务的转换
- 内置缓存和血缘追踪
- 可 diff 的 YAML 工件,非常适合 CI/CD<p>Xorq 的用例:<p>自从我们上次主要发布以来,很高兴看到第一个 Xorq 用例出现在实际应用中。所有这些都具有*Python 的简单性和 SQL 级别的性能*。<p>- 特征存储 (<a href="https://www.xorq.dev/blog/featurestore-to-featurehouse" rel="nofollow">https://www.xorq.dev/blog/featurestore-to-featurehouse</a>)
- 语义层(例如 <a href="https://github.com/boringdata/boring-semantic-layer">https://github.com/boringdata/boring-semantic-layer</a>)
- MCP + ML 集成 (<a href="https://docs.xorq.dev/vignettes/mcp_flight_server" rel="nofollow">https://docs.xorq.dev/vignettes/mcp_flight_server</a>)<p>我们是开源的,并且正在快速学习。很乐意收到关于哪些有用或缺失的反馈。感谢您提前试用!<p>观看 Xorq CLI 工具的实际演示:<a href="https://asciinema.org/a/730484" rel="nofollow">https://asciinema.org/a/730484</a><p>---<p>开始使用<p>- Github: <a href="https://github.com/xorq-labs/xorq">https://github.com/xorq-labs/xorq</a>
- Xorq 文档: <a href="https://docs.xorq.dev/" rel="nofollow">https://docs.xorq.dev/</a>
---<p>抢先看 - Xorq 计算目录 UI 控制台:<p>查看这个交互式 Claude 演示,展示了如何可视化 Xorq 计算目录,以加速 AI 计算的组合、重用和故障排除:<a href="https://claude.ai/public/artifacts/d2f00d2a-a3f9-4032-884e-d22f620a0ccf?fullscreen=true" rel="nofollow">https://claude.ai/public/artifacts/d2f00d2a-a3f9-4032-884e-d...</a>