Medallion в ClickHouse: DWH без миграций схемы

Десять запросов — и ты уже думаешь об индексах. Тысячи запросов — и начинаешь молиться на базу. Миллионы строк — и ищешь, как поделить данные на кластера. А триллионы? Ты уже не инженер. Ты смотритель в зоопарке. И пока ты строишь этот цирк из движков, ответ был прямо перед тобой. В том самом «движке для отчётов», который уже стоит у тебя в углу. Может, покончить со зверинцем БД? Логи, метрики, векторы, живые данные — можно просто положить в один движок. И он давно у вас есть, и, кажется, пора дать ему работать.

https://habr.com/ru/articles/991588/

#ClickHouse #PostgreSQL #Data_Engineering #DWH #Medallion_Architecture #ETL #PeerDB #Realtime_analytics #Data_Vault

Medallion в ClickHouse: DWH без миграций схемы

Введение субъективно, но основано на действительности. По нашему скромному мнению, хардкорных ребят из Banner Stat , рынок дата-инженерии сильно меняется. Еще лет пять назад, когда ты имел несколько...

Хабр
Reliably Replicating Data Between PostgreSQL and ClickHouse Part 1 - PeerDB Open Source | BenjaminWootton.com

Using PeerDB open source to reliably replicate data from PostgreSQL to ClickHouse.

BenjaminWootton.com