ClickHouse: автоматизируем расчеты с помощью Materialized View

Привет, Хабр! В прошлой статье мы заглянули под капот ClickHouse и разобрались, как работает движок MergeTree . Мы узнали, как хранятся данные и что такое парт, зачем нужен разреженный индекс и как работает фоновое слияние. В этой статье мы рассмотрим один из мощнейших инструментов ClickHouse — Materialized View .

https://habr.com/ru/articles/1012382/

#clickhouse #sql #СУБД #materialized_view #материализованные_представления

Ох уж эти join-ы: 4 способа ускорить ваши запросы в 10 раз

Все мы прекрасно знаем, join – одна из самых важных вещей в любой базе данных, но в то же время одна из самых ресурсозатратных операций. Да что уж там, в мире аналитики (OLAP) десятилетиями адепты различных подходов моделирования данных все спорят без остановки что лучше: нормализация (то есть много join) или денормализация (то есть мало join). Но все понимают, если можно без join, лучше без. Проблема в том, что они нужны практически всегда. В этой статье давайте посмотрим, можно ли реально обойдись без join и в каких ситуациях? А также 4 способа, которые кратно ускорят ваши запросы.

https://habr.com/ru/articles/1004888/

#sql #postgresql #postgresql_performance #ускорение_запросов #базы_данных #оптимизация_sql #покрывающие_индексы #redis #materialized_view #материализованные_представления

Интеграция Kafka с Manticore Search: пошаговое руководство по обработке данных в реальном времени

Kafka — это популярный брокер сообщений, который используется в самых разных проектах: от обработки логов и управления очередями задач до персонализации контента и аналитики в реальном времени. Например, его можно использовать для индексирования изменений в Википедии или поиска товаров в интернет-магазинах. Manticore Search, в свою очередь, поддерживает интеграцию с Kafka, что позволяет автоматически импортировать данные и использовать их для полнотекстового поиска, аналитики, векторного поиска и многого другого. При импорте данных в Manticore вы можете гибко их обрабатывать:

https://habr.com/ru/articles/902758/

#kafka #materialized_view #fulltext_search #полнотекстовый_поиск #json #dockercompose

Аварии как опыт. Особенности репликации материализованных представлений в ClickHouse

Однажды поздним воскресным вечером ничто не предвещало неприятностей, пока не поступило сообщение о проблемах с репликацией в продуктовом кластере ClickHouse. В статье поделились опытом восстановления сервиса после сбоя и разобрали репликацию материализованных представлений.

https://habr.com/ru/companies/flant/articles/875510/

#clickhouse #репликация #репликация_данных #materialized_view #материализованные_представления #кластер #повреждения_данных #данные

СTE, подзапрос или представление?

Здравствуйте, дорогие друзья! Сегодня мы окунёмся в мир SQL запросов и рассмотрим различные подходы, которые разработчики используют для работы с данными в БД. В современном мире разработки, где информация становитесь все больше и больше, и скорость получения данных имеет большое значение, умение эффективно извлекать и обрабатывать данные становится неотъемлемой частью работы многих SQL специалистов (особенно тех кто работает с нагруженными системами и DWH). Мы поговорим о таких методах, как Common Table Expressions (CTE), подзапросы, представления и материализованные представления.

https://habr.com/ru/articles/855694/

#SQL #CTE #Подзапросы #materialized_view #view #table #templates #временные_таблицы #представления #sql_запросы