Внедрение SQLMesh в команду аналитики

Каждая команда аналитики рано или поздно сталкивается с одной и той же проблемой: SQL-скрипты начинают жить своей жизнью, lineage оказывается неполным, ручные расчеты теряются в ноутбуках и Python-файлах, а любое изменение в базе данных превращается в потенциальную аварию. Мы долго искали инструмент, который позволил бы хранить данные как код, автоматически управлять зависимостями и при этом не требовал построения очередного сложного зоопарка из Airflow, dbt и десятка вспомогательных сервисов. В этой статье я расскажу о нашем опыте внедрения SQLMesh поверх ClickHouse: как мы получили воспроизводимые расчеты, изолированные окружения для разработки, автоматический backfill, lineage для ручных отчетов через seeds и почему в некоторых сценариях SQLMesh оказался удобнее привычного dbt. Разберем реальные примеры моделей, окружений и практические кейсы, с которыми столкнулись в работе.

https://habr.com/ru/articles/1046427/

#sqlmesh #clickhouse #sql #базы_данных #документирование_систем

#Cloudflare traced a slowdown in its billing pipeline to contention in ClickHouse's query planning stage.

After profiling the bottleneck, the team contributed fixes to #ClickHouse that:
➤ Replaced an exclusive lock with a shared lock
➤ Eliminated per-query copying of the parts list
➤ Improved part filtering

Learn more: https://bit.ly/4fB9HCD

#InfoQ #Database

Когда мониторинг молчит: поиск скрытых деградаций сети с помощью ClickHouse

В телеком-сети возник класс «тихих» деградаций: абоненты сообщали, что при отличном уровне сигнала невозможно совершить или принять голосовой вызов, при этом вендорский мониторинг не фиксировал аварий. С точки зрения метрик оборудование оставалось «зеленым», а проблема обнаруживалась только по пользовательским жалобам. Задача сводилась к автоматическому выявлению таких инцидентов на десятках тысяч объектов сети, используя только исторические временные ряды в ClickHouse, без вынесения вычислений во внешние системы. Сложность заключается в том, что поведение объектов существенно различается: для большинства базовых станций периодическое отсутствие трафика является нормой, поэтому фиксированные пороги либо дают ложные срабатывания, либо пропускают реальные инциденты. В статье разбирается инженерный подход: построение индивидуальных исторических профилей нагрузки, медианные бейзлайны и детекция отклонений от ожидаемого поведения. Показана реализация на SQL в ClickHouse с применением паттерна Islands & Gaps для выделения инцидентов во временных рядах. Разбор SQL-решения

https://habr.com/ru/articles/1045572/

#ClickHouse #SQL #детекция_аномалий #временные_ряды #мониторинг #аномалии_в_данных #деградации_сети #сезонность #Islands_and_Gaps #анализ_данных

Как мы собрали систему сетевого мониторинга безопасности для ISP: Zeek, Suricata, OpenSearch и ClickHouse

Мы построили собственную систему мониторинга сетевой безопасности для интернет-провайдера. Она в реальном времени анализирует трафик, помогает видеть атаки на публичные подсети, находит SSH-брутфорс, сканирование портов, попытки эксплуатации уязвимостей, подозрительную активность и автоматически блокирует наиболее агрессивные IP на пограничном маршрутизаторе Cisco. За сутки система видит около 13 млн соединений от примерно 170 тыс. уникальных IP . Только попыток SSH-брутфорса может быть порядка 144 тыс. в день . В этой статье я расскажу не только о том, из каких компонентов состоит система, но и о том, почему мы пришли именно к такой архитектуре. Будут Zeek, Suricata, Vector, Redis, OpenSearch, ClickHouse, Python-детекторы, Telegram-алерты, Cisco ACL и несколько неприятных граблей, на которые мы наступили по дороге. Статья будет полезна тем, кто хочет построить NSM/SOC-систему своими руками и не покупать коммерческий SIEM за космические деньги.

https://habr.com/ru/articles/1045372/

#анализ_трафика #zeek #opensearch #clickhouse

Как мы ускорили сбор аудиторий в 45 раз: с 6 минут до нескольких секунд

К маю 2026 года средний сбор аудитории в нашей системе занимал 2 часа 50 минут. Проблема состояла из двух частей. Первая: 96.5% этого времени процесс стоял в очереди. Вторая: даже добравшись до исполнения, расчёт занимал 6 минут — десятки задач внутри DAG выполнялись над множествами в миллионы строк, и основным инструментом были JOIN. Мы последовательно устранили обе проблемы — 20 изменений, разбитых на шесть этапов. Ниже описан каждый шаг и итоговый результат. Все числа «до» и «после» получены одним и тем же SQL‑запросом по Postgres — это воспроизводимый замер. Домен обобщён: конкретная компания не имеет значения. Это платформа, которая по булевым условиям («траты > 5000 ₽ за последние 3 месяца» И «покупки в категории Рестораны ») собирает множество клиентских идентификаторов из 10-миллионной базы и доставляет его во внешние системы. Погрузиться

https://habr.com/ru/articles/1045282/

#java #kotlin #kotlin_coroutines #kotlin_native #s3 #clickhouse #batching #mapreduce

📈 Modern analytics demands modern architecture.

At Nebraska.Code(), Zoe Steinkamp explores the open-source technologies driving the next generation of data platforms and helping teams escape vendor lock-in.

🔗 https://nebraskacode.amegala.com/

#DataLake #Analytics #ClickHouse #Tech

OTel Collector в кастомизации Битрикс24: подключаем Observability

Рассказываем про инструмент для наблюдения за кастомизациями Битрикс24 — телеметрическую инфраструктуру на базе OpenTelemetry Collector. Для проектов Битрикс24 эту роль выполняет репозиторий github.com/bitrix-tools/b24-ai-starter-otel. В статье объясним, зачем это надо, подключим Collector к уже существующему приложению чат-бота и покажем, как работает и выглядит сбор метрик. Это статья из цикла туториалов, где мы показываем полезные вещи, которые можно сделать на своём портале с помощью стартер-кита для ИИ-ассистированной разработки: github.com/bitrix-tools/b24-ai-starter . Что мы уже сделали и разобрали в других статьях: — Пишем первое приложение с AI-стартером, чтобы видеть прибыли и убытки — Добавляем в бизнес-портал Битрикс24 роботов для автоматизации — Что даёт воспроизводимая среда разработки и как развернуть контейнеры на VPS. — Анализ и модернизация коннектора баз данных с помощью AI-агентов — Создание чат-бота в портале Битрикс24 с помощью AI-агентов — Как стартер-кит может стать стандартом разработки — OTel Collector в кастомизации Битрикс24: подключаем Observability (вы здесь)

https://habr.com/ru/companies/bitrix/articles/1042534/

#open_telemetry #мониторинг #observability #логирование #трассировка #grafana #clickhouse #docker #devops #битрикс24

5 ошибок при миграции с PostgreSQL на ClickHouse: как не убить производительность индексами

В этой статье разбираем пять конкретных ошибок при миграции индексов, которые мы совершали сами на реальных проектах. Почему B‑tree не работает в колоночной СУБД? Как правильно спроектировать ORDER BY и PRIMARY KEY ? Когда использовать bloom_filter , а когда — материализованные представления?

https://habr.com/ru/companies/otus/articles/1031258/

#ClickHouse #PostgreSQL #индексы #миграция_баз_данных #производительность_БД #MergeTree #архитектура_данных

Privacy-by-design: что наш edge не пишет на диск и почему это сложнее, чем кажется

Я пилю VantageDNS — рекурсивный DNS-резолвер с фильтрацией. NextDNS-clone, если коротко: юзер настраивает роутер на наш DoH endpoint, а мы рекурсивно резолвим и заодно режем рекламу, трекеры и malware. Privacy-фокус для такого продукта это не маркетинговая фича, а архитектурное ограничение, которое надо тащить с первого дня. Privacy policy без архитектурных гарантий — это обещание не лезть в твою тумбочку, ключи от которой ты сам отдал. В этой статье конкретика: что edge-нода не пишет на диск, как устроен кольцевой буфер для query log, что делать с crash dumps, и как юзер может проверить, что мы не врём, через strace . Что мы не пишем на диск

https://habr.com/ru/articles/1035640/

#privacy #DNS #retention #GDPR #edge #query_log #inmemory #EU #anonymization #ClickHouse