Advisory locks в PostgreSQL: распределённая блокировка без Redis, которая у вас уже есть

В PostgreSQL есть фича, про которую знают далеко не все, хотя она существует с незапамятных времён. Advisory locks — пользовательские блокировки, которыми управляет не БД, а ваше приложение. PostgreSQL только хранит их состояние и разруливает конкуренцию. А вы решаете, что именно заблокировать и когда отпустить. Зачем это нужно? Вы строите распределённую систему, несколько инстансов приложения работают с одной базой, и вам нужно гарантировать, что определённую операцию выполняет только один инстанс одновременно. Классический ответ — Redis с SETNX или Consul/ZooKeeper. Но если у вас уже есть PostgreSQL — зачем тащить ещё одну зависимость?

https://habr.com/ru/companies/otus/articles/1004230/

#postqresql #хранилище_данных #Data_Vault #архитектура_хранилища_данных #моделирование_данных #DWH #аналитические_системы #интеграция_данных #архитектура_данных

Medallion в ClickHouse: DWH без миграций схемы

Десять запросов — и ты уже думаешь об индексах. Тысячи запросов — и начинаешь молиться на базу. Миллионы строк — и ищешь, как поделить данные на кластера. А триллионы? Ты уже не инженер. Ты смотритель в зоопарке. И пока ты строишь этот цирк из движков, ответ был прямо перед тобой. В том самом «движке для отчётов», который уже стоит у тебя в углу. Может, покончить со зверинцем БД? Логи, метрики, векторы, живые данные — можно просто положить в один движок. И он давно у вас есть, и, кажется, пора дать ему работать.

https://habr.com/ru/articles/991588/

#ClickHouse #PostgreSQL #Data_Engineering #DWH #Medallion_Architecture #ETL #PeerDB #Realtime_analytics #Data_Vault

Приглашаем на Cinimex TECH VRN meetup в Воронеже (офлайн/онлайн)

Привет, Хабр! Приглашаем в Воронеж на митап TECH VRN meetup — Встретимся с ИТ-комьюнити и в традиционной уютной атмосфере поговорим про то, как построить хранилище данных по методологии Data Vault 2.0, сравним инструменты для автоматизированного тестирования и рассмотрим критерии их выбора, а завершим наш ИТ-вечер темой многоагентного подхода.

https://habr.com/ru/companies/cinimex/articles/819387/

#синимекс #cinimex #митапы_в_воронеже #аналитика_данных #хранение_данных #автоматизированное_тестирование #инструменты_автоматизации #многоагентные_системы #data_vault #postman

Проектирование DWH с помощью Data Vault

Привет, Хабр! Методология Data Vault была разработана Дэном Линстедом в конце 1990-х годов и предлагает гибкий, масштабируемый и проверяемый способ управления данными. Data Vault сочетает в себе самые лучшие черты нормализованных моделей данных и звездных схем. В этой статье мы рассмотрим эту методологию и как с помощью нее проектировать DWH на примере.

https://habr.com/ru/companies/otus/articles/816219/

#архитектура #data_vault #dwh

Ликбез по методологиям проектирования хранилищ данных

Хранилище данных — это информационная система, в которой хранятся исторические и коммутативные данные из одного или нескольких источников. Он предназначен для анализа, составления отчетов и интеграции данных транзакций из разных источников. Рассмотрим сильные и слабые стороны самых популярных методологий.

https://habr.com/ru/articles/806347/

#dwh #anchor_modeling #data_vault

[レポート] dbtで解き明かすData Vaultの謎 #dbtCoalesce #Coalesce23
https://dev.classmethod.jp/articles/demystifying-data-vault-with-dbt/

#dev_classmethod #dbt #dbt_Cloud #dbt_Core #データウェアハウス #Data_Vault #データモデリング

Как связать натуральные ключи с суррогатным в Anchor Modeling

Хранить значения натуральных ключей необходимо, потому что они связывают хранимые данные с реальным миром (внешними классификаторами, реестрами и т.п.), и с ними работают бизнес-пользователи: в выпадающих списках, отчетах и дашбордах. Но в методологии Anchor Modeling для связи таблиц используются только суррогатные ключи, не подверженные изменениям, и это правильно. Поэтому нужно хранить связь натуральных ключей с суррогатным ключом, предпочтительно формата UUIDv7 . Как же это сделать в методологии Anchor Modeling? Получить ответ

https://habr.com/ru/articles/795689/

#бизнесключ #натуральный_ключ #суррогатный_ключ #UUIDv7 #схема_данных #историчность #высоконагруженный #идентификатор #Anchor_Modeling #Data_Vault