An 'old 'post from 2022 but an end-to-end analytics solution like this on one box still sounds rather fabulous to me.

"A fast, free, and open-source Modern Data Stack (MDS) can now be fully deployed on your laptop or to a single machine using the combination of DuckDB, Meltano, dbt, and Apache Superset."

"https://duckdb.org/2022/10/12/modern-data-stack-in-a-box.html

#DuckDB #Meltano #DBT #ApacheSuperset #DataAnalysis #Dashboard

mam do wciągnięcia do bazy danych 2000 plików ODS z wersjonowanego kubła S3. #Meltano.
tap-spreadsheets-anywhere oczywiście ani nie obsługuje ODS (za to wszystko inne) ani wersjonowanych kubłów (za to wspiera czytanie wielu plików z prefiksem i regex).
Dopisałem wsparcie dla jednego i drugiego z użyciem pyexcel. Zależnie od wtyczki ods, albo się wykrzacza z powodu wycieków pamięci, albo zawiesza się na źle napisanym regeksie do przetwarzania XML.

<głosem Sztura> Nas XMLi regeksem?

#programowanie #programming #python

Useful summary of the #dataengineering stack. Missing for me are the extract, load tools like #airbyte, #meltano. Would have liked to see some governance tooling to support data mesh, catalog support too.

https://thenewstack.io/the-architects-guide-to-the-modern-data-stack/

#databuildtool