parquetフォーマット

Parquetフォーマットは列志向のフォーマット。階層があるデータでもフラットな形に変形して保存する。

• Parquetフォーマット概観

ライブラリはいくつかある。公式のものが安定な気がするが、型によるマッピングを提供していないので使いづらいと思う。

• github.com/apache/arrow-go
• github.com/parquet-go/parquet-go

Parquetファイルを読みたい場合は、上のリポジトリにツールがあるので使うといい。

go get -tool github.com/apache/arrow-go/v18/parquet/cmd/parquet_reader@latest
go get -tool github.com/apache/arrow-go/v18/parquet/cmd/parquet_schema@latest