Определение фактического профиля нагрузки в PostgreSQL и динамические состояния БД

Привет, ХАБР! Я Владимир Хаймин , эксперт по системам управления базами данных PostgreSQL в ВТБ. Когда вы знакомитесь с документацией по какой-то системе в части базы данных, то обычно характер нагрузки определяется исходно в архитектуре проекта. Но если система определена архитектором как OLTP, но в действительности может вести себя в некоторые периоды времени как OLAP. Нормально ли такое поведение, и каким образом мы можем определить, что она ведет себя как-то иначе? Как определить фактический профиль нагрузки OLAP или OLTP и выразить это через метрики, пригодные для событийного и графического мониторинга? Эта статья является скорее исследовательской в области Data Science в прикладном контексте PostgreSQL. Data Science – это не только задачи ИИ: (ML, LLM,..), но прежде всего математика. Мы используем регрессивные методы для получения некоторых нужных нам параметров исходя из табличных рекомендованных данных. Также мы делаем упор на исследование состояния БД на основе статистики динамики ожиданий. Задача, несмотря на ее простой смысл, в решении оказалась не такой простой, и мы в итоге работали над ней довольно долго, хоть и в фоновом режиме. Также обратились к студенческому сообществу и провели по этой теме Хакатон ВТБ х Башня , прошедший в МГТУ им. Баумана 27 ноября 2025 года. В нем приняли участие студенты и выпускники НИУ ВШЭ, СПбГУ, ВКА им. А.Ф. Можайского, РАНХИГС, Московского Политехнического университета, НИТУ МИСИС, а также уже действующие архитекторы и администраторы БД. У команд было всего три дня на решение задачи, и хотя полностью её не удалось выполнить никому, совокупный результат всех участников позволил сформировать корректное решение. Результат именно этих работ я и изложил в статье и обязательно буду упоминать команды и авторов интересных идей, о которых пойдет речь.

https://habr.com/ru/companies/vtb/articles/1011188/

#postgresql #postgresql_performance #olap #oltp #htap

Определение фактического профиля нагрузки в PostgreSQL и динамические состояния БД

Привет, ХАБР! Я Владимир Хаймин , эксперт по системам управления базами данных PostgreSQL в ВТБ. Когда вы знакомитесь с документацией по какой-то системе в части базы данных, то обычно характер...

Хабр
📢RAPPEL : Webinaire post-ERS
🫁Ce soir le 13/10 à partir de 19h
👉https://us02web.zoom.us/j/84305931438
Tous les points forts du dernier congrès européen de pneumologie
#ERS2025 #respiratoire #asthme #BPCO #oncologieThoracique #infectiologie #PID #HTAP
🫁 Retour sur l'#ERS2025
✅Retrouver les 55 brèves des communications présentées à Amsterdam
👉https://splf.fr/en-direct-mission-ers-2025/
✅ Prenez date : webinaire post-ERS : 13 octobre à 19h
#asthme #bpco #infectiologie #oncologie #thoracique #PID #HTAP #troubles #respiratoire #sommeil #bronches

Что для OLTP хорошо, то для OLAP — смерть: ликбез и выбор серверов

Вот скажите мне, хабравчане, в чём сила? Разве в деньгах? Вот и финдиректор говорит, что в деньгах. А я вот думаю, что сила в данных: у кого данные, тот и сильней! Техгиганты, вроде Google (Alphabet), Meta (признана экстремистской в России) и Яндекса, получают огромную прибыль с монетизации пользовательских данных; менее очевидные Spotify, OZON и т.п. тоже неплохо зарабатывают на данных и рекламе. Банки каждую секунду проводят сотни тысяч транзакций, небольшие интернет-магазины собирают кучу телеметрии, а социальные сети крутят бесконечные алгоритмические фиды, чтобы вы смотрели свою персональную ленту с котиками и мемами. Каждый клик, каждое движение мышкой, каждый свайп или тап по экрану — это запись в базе данных. И да, серверы давно умеют с этим всем работать. И вот есть у бизнеса база данных, зачем тогда изобретать ложку для супа отдельные подходы для работы с данными в ней? Выбираешь что-то оптимальное/лучшее — и радуешься жизни. А вот зачем. Для транзакций в реальном времени нужна одна система — OLTP (Online Transaction Processing) , а для аналитики другая — OLAP (Online Analytical Processing) . OLTP похож на Соника — он всегда в движении, стремительно мчится вперёд, реагирует на каждое препятствие и собирает колечки. А OLTP — отрабатывает каждую транзакцию быстро и предсказуемо. OLAP же напоминает Кирби — он втягивает в себя всё, что попадётся — горы предметов, врагов, целые миры. А OLAP поглощает массивы данных — миллионы и миллиарды строк, чтобы потом переварить их и превратить в осмысленный отчёт. Дропдаун

https://habr.com/ru/companies/servermall/articles/948686/

#oltp #oltpсистемы #olap #olapкубы #htap #серверы #базы_данных #аналитика_данных #itинфраструктура #субд

Что для OLTP хорошо, то для OLAP — смерть: ликбез и выбор серверов

Вот скажите мне, хабравчане, в чём сила? Разве в деньгах? Вот и финдиректор говорит, что в деньгах.  А я вот думаю, что сила в данных:  у кого данные, тот и сильней! Техгиганты, вроде Google...

Хабр

Как YDB изолирует OLTP и OLAP

Привет, Хабр! Меня зовут Олег Доронин, и мы с командой делаем СУБД Яндекса, которая называется YDB. Каждый транзакционный запрос к базе данных обычно работает с небольшим набором строк и быстро отрабатывает за единицы или десятки миллисекунд, но таких запросов каждую секунду поступает огромное количество. А вот аналитические запросы обычно выполняются не так часто, но каждый из них может требовать обработки вплоть до всех строк в одной или нескольких таблицах. Такие запросы могут выполняться секунды, минуты, или даже часы в зависимости от объёмов данных и сложности запрошенных вычислений. Чтобы эти два принципиально разных паттерна нагрузки не мешали друг другу, гибридным базам данных важно изолировать транзакционную нагрузку от аналитической. Под катом я расскажу, как мы сделали в YDB компоненты для управления смешанной нагрузкой, которые изолируют миллионы RPS от аналитики, и как менеджер смешанной нагрузки устроен внутри.

https://habr.com/ru/companies/yandex/articles/935506/

#workload_manager #ydb #sql #highload #oltp #olap #htap

Как YDB изолирует OLTP и OLAP

Внутреннее устройство YDB: акторы и таблетки Когда мы начинали разрабатывать собственную СУБД, перед нами стояли чёткие задачи, продиктованные требованиями Яндекса. И тогда, и сейчас в компании...

Хабр

Как YDB изолирует OLTP и OLAP

Привет, Хабр! Меня зовут Олег Доронин, и мы с командой делаем СУБД Яндекса, которая называется YDB. Каждый транзакционный запрос к базе данных обычно работает с небольшим набором строк и быстро отрабатывает за единицы или десятки миллисекунд, но таких запросов каждую секунду поступает огромное количество. А вот аналитические запросы обычно выполняются не так часто, но каждый из них может требовать обработки вплоть до всех строк в одной или нескольких таблицах. Такие запросы могут выполняться секунды, минуты, или даже часы в зависимости от объёмов данных и сложности запрошенных вычислений. Чтобы эти два принципиально разных паттерна нагрузки не мешали друг другу, гибридным базам данных важно изолировать транзакционную нагрузку от аналитической. Под катом я расскажу, как мы сделали в YDB компоненты для управления смешанной нагрузкой, которые изолируют миллионы RPS от аналитики, и как менеджер смешанной нагрузки устроен внутри.

https://habr.com/ru/companies/yandex/articles/935506/

#workload_manager #ydb #sql #highload #oltp #olap #htap

Как YDB изолирует OLTP и OLAP

Внутреннее устройство YDB: акторы и таблетки Когда мы начинали разрабатывать собственную СУБД, перед нами стояли чёткие задачи, продиктованные требованиями Яндекса. И тогда, и сейчас в компании...

Хабр

‼️ 🫁 💻 🖥️ RAPPEL

Ce soir mardi 24 juin Mission POST-ATS 1 à partir de 19h

👉 Connexion au webinaire : https://us02web.zoom.us/j/81431658122

nous vous attendons nombreux et nombreuses

#ATS2025 #HTAP #Asthme #BPCO #Tabac #SAHOS

Join our Cloud HD Video Meeting

Zoom is the leader in modern enterprise cloud communications.

Zoom
‼️RAPPEL Mardi 24 juin de 19h à 21h Webinaire post #ATS2025 1ère partie avec l'équipe de la Mission ATS 2025
👉https://splf.fr/ats-2025/
#BPCO #HTAP #tabac #sahos #oncologie #asthme
🌗 HTAP 已逝 (HTAP is Dead)
➤ HTAP 的興衰與數據架構的演變
https://www.mooncake.dev/blog/htap-is-dead
本文作者回顧了 HTAP (Hybrid Transactional and Analytical Processing) 數據庫的發展歷程,從早期的統一數據庫到 OLTP 與 OLAP 分離,再到 HTAP 的概念提出及發展。作者認為,儘管技術上取得進展,但 HTAP 並未普及,最終敗給了雲端數據倉庫,原因包括替換現有 OLTP 系統的難度、硬體成本下降、雲端架構的偏好以及組織結構的阻礙。然而,HTAP 的精神依然存在,如今通過組裝數據湖、流式處理管道和即時查詢層等方式得以延續。
+ 這篇文章讓我對 HTAP 的發展歷程有了更深入的瞭解,也解釋了為什麼目前雲端數據倉庫如此盛行。
+ 作者的觀點很有意思,確實,即使技術上可行,但如果沒有商業價值或組織上的支持,也很難成功。
#數據庫技術 #HTAP #雲端數據倉庫
Mooncake Blog: HTAP is Dead

I spent the last 10 years building, and then rescuing HTAP databases. Their spirit lives on in the Lakehouse today.