Scherlok – zero-config data quality monitoring, works with dbt

Scherlok은 dbt와 연동 가능한 제로-설정 데이터 품질 모니터링 도구로, 사전 규칙 작성 없이 데이터의 정상 패턴을 학습해 이상을 자동 탐지한다. PostgreSQL, BigQuery, Snowflake를 지원하며, CI/CD 파이프라인에 쉽게 통합되어 크리티컬 이상 발생 시 배포를 차단할 수 있다. Slack, Discord, Teams 등 다양한 알림 채널과 연동 가능하며, HTML 대시보드를 통해 이상 이력과 스키마 변화를 시각화한다. 기존 데이터 품질 도구 대비 설정과 유지보수 부담이 크게 줄어들어 데이터 엔지니어링 생산성을 높인다.

https://github.com/rbmuller/scherlok

#dataquality #dbt #anomalydetection #cicd #monitoring

A data review flagged 99.999% row-count variance. The PR was two lines.

Base was five years of production history. Current was a one-hour CI build. Neither was wrong. They were built for different jobs.

False alarms like this train reviewers to scroll past real variance. That is the damage.

https://blog.reccehq.com/session-base-per-pr-why-data-reviews-lie
#dbt #DataEngineering #AnalyticsEngineering

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описание колонки — и через месяц никто не помнит, что означает wallet_cards_category_hits. В Почте Mail (VK) мы решили эту проблему системно, разработав внутренний фреймворк, который делает код витрины и ее документацию неразрывными. На связи Дима Швеенков. Я все так же руковожу направлением аналитики в команде и отвечаю за данные в Почте Mail , а теперь еще и отвечаю за DWH в VK Tech . В предыдущих статьях я подробно рассказывал о нашем Data Driven-подходе к работе с данными, а также, в частности, как мы работаем со Spark и какие ключевые проблемы с данными мы решили, чтобы построить свое хранилище данных. Сегодня хотел бы остановиться на более узкой теме — как держать в порядке документацию, если у вас такое же огромное хранилище, как и у нас. Материал короткий, но, надеюсь, будет для вас полезным.

https://habr.com/ru/companies/vktech/articles/1032686/

#big_data #apache_spark #airflow #clickhouse #sql #документация #dwh #metadata #dbt #vk_tech

Innere Leere und Einsamkeit überwinden: Wenn Borderline sich anfühlt wie ein Loch im eigenen Inneren

https://lautfunk.uber.space/innere-leere-und-einsamkeit-ueberwinden-wenn-borderline-sich-anfuehlt-wie-ein-loch-im-eigenen-inneren/