LWLock:LockManager, fastpath и всё-всё-всё

Общеизвестным является тезис о том, что от избыточного индексирования страдают только DML-операции, а SELECTы только получают разнообразные бенефиты. Однако существуют определённые нюансы, которые могут разрушить данную стройную картину мира. Я попробую продемонстрировать возможную проблему на тестовом примере (кстати, почти аналогичная проблема наблюдалась в реальной ПРОМ-системе).

https://habr.com/ru/companies/gnivc/articles/993938/

#postgresql #postgres #lwlock #производительность #базы_данных #data_bases #data_base #бд

Postgresso #11-12 (84-85)

Postgres Pro Enterprise 18.1.1 До Нового Года успела выйти 18-я версия Postgres Pro Enterprise - Postgres Pro Enterprise 18.1.1 . Версии Postgres Pro Standard 18.1.1 и - до неё - Postgres Pro Standard 18.0.1 следовали за соответственно. А - как видно из номера - Postgres Pro Enterprise 18.1.1 - перепрыгнула через ступеньку. Поэтому, если будет желание отследить изменения, унаследованные от Standard и PostgreSQL, надо сравнивать сразу с 2 версиями каждой. Мы же здесь не будем фокусироваться на формальностях и просто приведём (неполный, конечно - полный слишком велик для нашего жанра) список нового. Добавлена возможность создавать таблицы, которые разделяются на секции при помощи внешнего ключа. Внешний ключ используется как ссылка на родительскую секционированную таблицу и определяется в предложении PARTITION BY REFERENCE . Обновлены модули, в том числе BiHA . В ней много важных изменений:

https://habr.com/ru/companies/postgrespro/articles/960360/

#dbms #rdbms #postgresql #postgres #sql #data_bases #субд #рсубд #базы_данных

Проблемы БД или почему большой продакшн спасут только массовые расстрелы запросов

За счёт правильных, даже необязательно новых, а просто верно выбранных архитектурных подходов можно заставить работать не один конкретный запрос, а тысячу или даже миллион. Это становится краеугольным камнем, потому что объёмы данных растут с такой скоростью, которую мы даже представить себе не могли ещё пять лет назад. Привет, Хабр! Именно так считает наш сегодняшний гость – Дмитрий Немчин, руководитель направления эксплуатации инфраструктуры данных в Т-банке и по совместительству член программного комитета Data Internals , профессиональной конференции
по инженерии, базам и системам хранения и обработки данных. В беседе Дмитрий рассказал о своём пути в данные и программный комитет конференции, поделился интересными кейсами и проблемами, связанными с ростом объёмов данных и необходимостью управления ресурсами. А также объяснил, как дата-инженеру остаться востребованным в будущем, где ИИ может проникнуть абсолютно во все сферы жизни.

https://habr.com/ru/companies/oleg-bunin/articles/915332/

#интервью #greenplum #data_engineering #data_analysis #infrastructure #python #data_bases #data_internals #big_data #big_data_analytics

Эксплуатация Stateful-приложений в Kubernetes на примере баз данных в Авито

Привет! Меня зовут Игорь Конев, я — старший инженер команды DBaaS в Авито . В этой статье я рассказываю о нашем подходе к работе Stateful-приложений в k8s на примере DBaaS и о том, как удалось автоматизировать жизненный цикл баз данных у нас в Авито. Статья будет полезна новичкам, которые не работали в Kubernetes, не сталкивались с менеджментом Stateful-приложений или хотели бы массово разворачивать базы данных в Kubernetes.

https://habr.com/ru/companies/avito/articles/881728/

#kubernetes #базы_данных #data_bases #stateful #платформа #dbaas #persistentvolume #persistentvolumeclaim #csi

Это база: нюансы работы с Redis. Часть 2, репликация

Всем привет, на связи Пётр, инженер компании Nixys. В прошлой статье мы разобрали основные концепции Redis. Теперь рассмотрим базовую репликацию Redis и настроим эту БД на высокий уровень отказоустойчивости.

https://habr.com/ru/companies/nixys/articles/805463/

#redis #keydb #data_bases #infrastructure #inmemory #devops #nosq #replication

[Перевод] Использование миграций баз данных в Go

Недавно мы столкнулись с необходимостью найти библиотеку для удобной работы с базами данных. В проекте было принято решение не использовать ORM, а вместо этого применить миграции. Так как я работал только с ORM, мне, как и автору статьи, было мало знакомо понятие миграций баз данных. В поисках информации о миграциях и популярных решениях, я наткнулся на эту статью. Перевод статьи я оставил ниже. Возможно, она будет вам полезна. Буду признателен, если вы сможете поделиться библиотеками, которые используете.

https://habr.com/ru/articles/809301/

#golang #migrations #data_bases #sql

Революция в аналитике данных: погружение в мир NoSQL

Привет, Хабр! Сегодня мы исследуем мир NoSQL – технологии, которая радикально изменяет подходы к аналитике данных. В этой статье мы углубимся в особенности NoSQL, сравним его с традиционными SQL-базами данных и исследуем, как NoSQL преобразует сферу аналитики данных. Для более глубокого погружения в тему, присоединяйтесь к нашему обсуждению на DataTechCommunity .

https://habr.com/ru/articles/787574/

#nosql #базы_данных #sql #аналитика_данных #data_analysis #data_bases #nonrelational_data