Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных

Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает.

https://habr.com/ru/companies/X5Tech/articles/1026382/

#большие_данные #big_data #lakehouseплатформа_данных #data_pipelines #airflow #yaml #gitlab_cicd #микросервисная_архитектура #оркестрация #ddl

第268回　pt-online-schema-changeで外部キー制約付きテーブルにDDLを実行する
https://gihyo.jp/article/2026/04/mysql-rcn0268?utm_source=feed

#gihyo #技術評論社 #gihyo_jp #MySQL #外部キー制約 #DDL

„Der amerikanische Albtraum
#Faschismus made in #USA"

Eine #DRM freie #Hoerbuch Privatkopie vom Werk gibts wohl zum #Download als #DDL nhere: https://we.tl/t-VzRnwPLsa3

Leechen - Lauschen - Lernen

La Palestina libera tutt3

Sala Ragazzini, giovedì 26 marzo alle ore 17:30 CET

DDL Antisemitismo e repressione del dissenso

Amedeo Rossi: "Antisemitismo e antisionismo. Usi e abusi"

Andrea Maestri: approfondimenti legali

https://www.fuorinellanebbia.it/event/la-palestina-libera-tutt3

Особенности Schema Evolution в Hadoop: как сделать alter table

Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ). Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?» В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

https://habr.com/ru/companies/T1Holding/articles/1000516/

#hadoop #hive #alter_table #DDL #ALM

How to Prevent TRUNCATE From Breaking Replication

TRUNCATE is DDL and can behave differently in replicas.

#mysql #truncate #replication #howto #ddl #production

https://www.youtube.com/watch?v=AQZ3wgDnswg