🆕 新着Qiita記事をお知らせします。​

​『Amazon Athenaでパーティション数が多いJSONのテーブルをParquet形式のテーブルに変換できずにハマった』
https://qiita.com/kai_kou/items/cd78d4d17d0b2b8cbc2f by @kai_kou @​Qiita

#aws_qiita #json_qiita #amazonathena_qiita #athena_qiita #parquet_qiita

Amazon Athenaでパーティション数が多いJSONのテーブルをParquet形式のテーブルに変換できずにハマった - Qiita

Amazon Athenaを利用してS3バケットにあるJSONファイルをParquet形式に変換するときに`HIVE_TOO_MANY_OPEN_PARTITIONS` というエラーが発生したので原因調査して対策を考えてみました。 ...

🆕 新着Qiita記事をお知らせします。​

​『OSMのpbfをparquetに変換する』
https://qiita.com/oho-sugu/items/cce729e5e25aa6f9f4b6 by @oho_sugu @​Qiita

#osm_qiita #parquet_qiita

OSMのpbfをparquetに変換する - Qiita

# 目的 OSMの全球データをSparkあたりで処理したいな、のための前処理です。 Apache Parquetというデータ形式に、Open Street MapのPBF形式から変換します。 # osm-parquetizerを使...