Show HN: Go 语言实现的 CSV/TSV/Excel/Parquet 三工具 ETL 管道
1 分•作者: mimixbox•24 天前
我用 Go 语言构建了一组小型工具,构成一个三部曲:
* fileprep — 使用结构体标签进行预处理和验证(修剪、替换、规范化等)
* fileframe — 一个轻量级、不可变的 DataFrame,用于过滤、映射、分组
* filesql — 直接在 CSV/TSV/LTSV/Excel/Parquet 文件上运行 SQL(底层使用 SQLite)
将它们组合在一起,可以构成一个微型 ETL 管道:读取 → 预处理 → 转换 → SQL 查询。
代码库:
* [https://github.com/nao1215/fileprep](https://github.com/nao1215/fileprep)
* [https://github.com/nao1215/fileframe](https://github.com/nao1215/fileframe)
* [https://github.com/nao1215/filesql](https://github.com/nao1215/filesql)
查看原文
I built a small trilogy of Go tools:<p>- fileprep — preprocessing & validation using struct tags (trim, replace, normalize, etc.)<p>- fileframe — a lightweight, immutable DataFrame for filtering, mapping, grouping<p>- filesql — run SQL directly on CSV/TSV/LTSV/Excel/Parquet (SQLite under the hood)<p>Use them together as a tiny ETL pipeline:
read → preprocess → transform → SQL query.<p>Repos:<p>- <a href="https://github.com/nao1215/fileprep" rel="nofollow">https://github.com/nao1215/fileprep</a><p>- <a href="https://github.com/nao1215/fileframe" rel="nofollow">https://github.com/nao1215/fileframe</a><p>- <a href="https://github.com/nao1215/filesql" rel="nofollow">https://github.com/nao1215/filesql</a>