Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Spent some time chasing icebergs offshore eastern #Newfoundland yesterday. There were ducks fighting for the camera's attention!

I think I see a troll face in the iceberg.

#Iceberg #Duck #Pareidolia

春の花　Весняні квіти
混沌の暗闇に一粒の希望が降り注ぎ
Єдина крапля надії падає в темряву хаосу

https://note.com/poison_raika/n/nf7710a333d33

<>

#single #grain #hope #falls #darkness #chaos #take #root #earth #blooms #flower #seeds #warm #light #sprout #iceberg #long #winter #end #field #cover #ice #melts #river #future #crimson #ghost #purified #painful #evil #washed #away #dark #clear

春の花　Весняні квіти
混沌の暗闇に一粒の希望が降り注ぎ
Єдина крапля надії падає в темряву хаосу

https://note.com/poison_raika/n/nf7710a333d33

<>

#single #grain #hope #falls #darkness #chaos #take #root #earth #blooms #flower #seeds #warm #light #sprout #iceberg #long #winter #end #field #cover #ice #melts #river #future #crimson #ghost #purified #painful #evil #washed #away #dark #clear

Con esta imagen de un iceberg (que he creado con Canva) intento reflejar que lo interesante de la red (con sus nodos de relaciones) no es lo que se ve en la superficie. Como Mastodon 😊

#iceberg #internet #Mastodon

HyperDX fork for Iceberg on S3 tables

HyperDX의 포크 프로젝트인 Berg는 AWS S3 테이블을 대상으로 Athena와 Glue Data Catalog를 활용하는 분석 쿼리용 웹 UI를 제공합니다. 기존 HyperDX의 로그 탐색 UX를 유지하면서 ClickHouse 대신 Iceberg 관리 S3 테이블을 지원하며, Node.js, Next.js, Express, MongoDB 등 최신 스택으로 구성되어 있습니다. 개발 및 배포를 위한 상세 환경 설정과 다중 작업 트리 지원, Docker 기반 이미지 빌드 및 AWS EKS/ECS 배포 가이드도 포함되어 있어 AI 데이터 파이프라인과 분석 인프라 구축에 유용합니다.

https://github.com/bolt-earth/Berg

#aws #athena #glue #iceberg #hyperdx