bot헬스케어 앱을 위한 예약 시스템 최적화 도구: Michel Gem 공개
기존 EHR 시스템의 API는 실제 예약 가능한 시간 슬롯이 아닌 주간 일정 정보만 제공하여 개발자가 직접 가용 시간을 계산해야 하는 기술적 부채를 발생시킵니다.
HabrКак мы убрали очередь из REFRESH MATERIALIZED VIEW в PostgreSQL
У нас был долгий REFRESH MATERIALIZED VIEW : один запуск мог идти около часа, а повторные запуски вставали в очередь и держали соединения. CONCURRENTLY помогал не блокировать чтение из materialized view, но не решал проблему очереди одинаковых REFRESH. Мы сделали механизм в PostgreSQL: триггерами отмечаем изменения в зависимых таблицах, храним зависимости каждой MV в служебной таблице, а перед обновлением берём pg_try_advisory_xact_lock по конкретной MV. Если lock не удалось взять — значит, обновление уже идёт, и второй REFRESH не ждёт в очереди, а пропускается.
https://habr.com/ru/companies/skbkontur/articles/1043566/
#postgresql #materialized_view #advisory_lock #plpgsql #sql #блокировки #оптимизация_postgresql
МАТЕРИАЛИЗОВАННЫЕ ПРЕДСТАВЛЕНИЯ В HQBIRD SERVER 5.0.4
/В последней версии HQBird Server 5.0.4 появились так называемые материализованные представления. В данном вебинаре мы поговорим о том, что это такое, как с ними работать, как вы можете использовать их у себя для ускорения некоторых аналитических выборок. Будет представлен небольшой бенчмарк, который показывает, как материализованные представления могут ускорять некоторые аналитические выборки.
ClickHouse не тормозит, но заставляет глаз дергаться. Materialized Views
Вы пришли из мира PostgreSQL, Oracle или MSSQL. Вы знаете: материализованное представление — это «замороженный» результат запроса. Удобно. Предсказуемо. Вы открываете документацию ClickHouse. Видите знакомые слова. Радуетесь. Пишете свой первый MATERIALIZED VIEW. Запускаете. И... получаете не то, что ожидали. Потому что в ClickHouse материализованные представления работают СОВСЕМ не так, как везде.
https://habr.com/ru/articles/1025184/
#clickhouse #materialized_view #базы_данных #sql #nosq #bigdata #data_engineering
ClickHouse: автоматизируем расчеты с помощью Materialized View
Привет, Хабр! В прошлой статье мы заглянули под капот ClickHouse и разобрались, как работает движок MergeTree . Мы узнали, как хранятся данные и что такое парт, зачем нужен разреженный индекс и как работает фоновое слияние. В этой статье мы рассмотрим один из мощнейших инструментов ClickHouse — Materialized View .
https://habr.com/ru/articles/1012382/
#clickhouse #sql #СУБД #materialized_view #материализованные_представления
Ох уж эти join-ы: 4 способа ускорить ваши запросы в 10 раз
Все мы прекрасно знаем, join – одна из самых важных вещей в любой базе данных, но в то же время одна из самых ресурсозатратных операций. Да что уж там, в мире аналитики (OLAP) десятилетиями адепты различных подходов моделирования данных все спорят без остановки что лучше: нормализация (то есть много join) или денормализация (то есть мало join). Но все понимают, если можно без join, лучше без. Проблема в том, что они нужны практически всегда. В этой статье давайте посмотрим, можно ли реально обойдись без join и в каких ситуациях? А также 4 способа, которые кратно ускорят ваши запросы.
https://habr.com/ru/articles/1004888/
#sql #postgresql #postgresql_performance #ускорение_запросов #базы_данных #оптимизация_sql #покрывающие_индексы #redis #materialized_view #материализованные_представления
Интеграция Kafka с Manticore Search: пошаговое руководство по обработке данных в реальном времени
Kafka — это популярный брокер сообщений, который используется в самых разных проектах: от обработки логов и управления очередями задач до персонализации контента и аналитики в реальном времени. Например, его можно использовать для индексирования изменений в Википедии или поиска товаров в интернет-магазинах. Manticore Search, в свою очередь, поддерживает интеграцию с Kafka, что позволяет автоматически импортировать данные и использовать их для полнотекстового поиска, аналитики, векторного поиска и многого другого. При импорте данных в Manticore вы можете гибко их обрабатывать:
https://habr.com/ru/articles/902758/
#kafka #materialized_view #fulltext_search #полнотекстовый_поиск #json #dockercompose
Аварии как опыт. Особенности репликации материализованных представлений в ClickHouse
Однажды поздним воскресным вечером ничто не предвещало неприятностей, пока не поступило сообщение о проблемах с репликацией в продуктовом кластере ClickHouse. В статье поделились опытом восстановления сервиса после сбоя и разобрали репликацию материализованных представлений.
https://habr.com/ru/companies/flant/articles/875510/
#clickhouse #репликация #репликация_данных #materialized_view #материализованные_представления #кластер #повреждения_данных #данные
СTE, подзапрос или представление?
Здравствуйте, дорогие друзья! Сегодня мы окунёмся в мир SQL запросов и рассмотрим различные подходы, которые разработчики используют для работы с данными в БД. В современном мире разработки, где информация становитесь все больше и больше, и скорость получения данных имеет большое значение, умение эффективно извлекать и обрабатывать данные становится неотъемлемой частью работы многих SQL специалистов (особенно тех кто работает с нагруженными системами и DWH). Мы поговорим о таких методах, как Common Table Expressions (CTE), подзапросы, представления и материализованные представления.
https://habr.com/ru/articles/855694/
#SQL #CTE #Подзапросы #materialized_view #view #table #templates #временные_таблицы #представления #sql_запросы
