Внедрение SQLMesh в команду аналитики

Каждая команда аналитики рано или поздно сталкивается с одной и той же проблемой: SQL-скрипты начинают жить своей жизнью, lineage оказывается неполным, ручные расчеты теряются в ноутбуках и Python-файлах, а любое изменение в базе данных превращается в потенциальную аварию. Мы долго искали инструмент, который позволил бы хранить данные как код, автоматически управлять зависимостями и при этом не требовал построения очередного сложного зоопарка из Airflow, dbt и десятка вспомогательных сервисов. В этой статье я расскажу о нашем опыте внедрения SQLMesh поверх ClickHouse: как мы получили воспроизводимые расчеты, изолированные окружения для разработки, автоматический backfill, lineage для ручных отчетов через seeds и почему в некоторых сценариях SQLMesh оказался удобнее привычного dbt. Разберем реальные примеры моделей, окружений и практические кейсы, с которыми столкнулись в работе.

https://habr.com/ru/articles/1046427/

#sqlmesh #clickhouse #sql #базы_данных #документирование_систем

Column-level lineage comparison:

- dbt Power User (VSCode)
- dbt Cloud
- SQLMesh

There are actually a lot of interesting differences.

See how they stack up:

https://medium.com/inthepipeline/why-column-level-lineage-matters-for-dbt-comparing-the-options-b749be3ed962

#DataEngineering #SQL #dbt #Analytics #Data #SQLMesh #VSCode #OpenSource

We love that table-diff is built-into #SQLMesh.

It's so important that data analysts get into the habit of checking their work like this.

With Recce you can take it to the next level and operationalize those data validations for PR review:

https://medium.com/p/9cd67e7c21b7

#DataEngineering #data #AnalyticsEngineering

Recce now integrates with SQLMesh!

This brings enhanced data validation and PR review process to SQLMesh users ❤️

With Change Summaries being a core feature in SQLMesh, it makes Recce a perfect culture-fit with enhanced data validations

Find out more

https://medium.com/inthepipeline/0f84a91120f5

#DataEngineering #AnalyticsEngineering #SQLMesh #PullRequest #BestPractices #data