Маленькие, но мощные оптимизации: как pgpro_planner спасает запросы из мира 1С

Что общего у запросов из 1С, конструкции IN (VALUES ...) и безобидного выражения x + 0? Все они способны превратить выполнение запроса из миллисекундного дела в многоминутное ожидание, потому что стандартный планировщик PostgreSQL на них «спотыкается». Разбираем, как расширение pgpro_planner переписывает неудобные куски дерева запросов в дружелюбный вид еще до того, как оптимизатор успеет выбрать неудачный план, и почему некоторые из этих решений уже попали в ванильный PostgreSQL 18.

https://habr.com/ru/companies/postgrespro/articles/974652/

#optimizer #Postgres #postgresql #postgresql_performance #postgres_pro #pg_planner #pgpro_planner

Оптимизация работы с 1С в Postgres Pro: новые возможности

Стабильная и быстрая работа платформы «1С:Предприятие» — критически важный фактор для бизнеса. Команда Postgres Professional ведёт постоянную работу над совершенствованием ядра СУБД, устраняя архитектурные узкие места, которые проявляются при высоких нагрузках, характерных для 1С. Недавно мы выпустили Postgres Pro Enterprise 17.6 , куда добавили новый пакет улучшений для 1C.

https://habr.com/ru/companies/postgrespro/articles/972774/

#1с #1с_предприятие #postgresql #postgres #postgres_pro

Миграция ГИС ГМП: как мы перенесли сотни терабайт данных, не останавливая федеральный ресурс

Слышали о ГИС ГМП? Скорее всего, мало кто слышал. Зато точно видели, если: — вам на Госуслуги приходила пошлина на оплату нового загранпаспорта — вы получали уведомление о штрафе ГИБДД в банковском приложении — вы узнавали состояние своего единого налогового счёта (ЕНС) Чтобы всё это стало возможным, Федеральное Казначейство создало Государственную информационную систему о государственных и муниципальных платежах (ГИС ГМП). Именно она аккумулирует все назначенные людям и компаниям платежи и контролирует их оплату, сверяя платёжные поручения банков с начислениями. Как вы думаете, много ли там начислений? А платежей? Сотни миллиардов. В рамках импортозамещения нам в РТЛабс поставили задачу — мигрировать ГИС ГМП с базы данных Oracle на другую подходящую. Да-да, нам предстояло мигрировать систему, которая хранит сотни терабайт данных — кому и что было начислено, как и когда это оплатили. Как нам это удалось? Именно об этом я и хочу рассказать. На связи Михаил Денисов — технический директор блока развития казначейских проектов.

https://habr.com/ru/companies/rtlabs/articles/972482/

#импортозамещение #базы_данных #большие_данные #shardman #postgres_pro #oracle

Работа с файлами в СУБД PostgreSQL и Postgres Pro Enterprise: барьеры и варианты их преодоления

Упереться в лимит 4 миллиарда строк в TOAST-таблице или поймать OidGen lock при массовой заливке документов — страшный сон администратора PostgreSQL. Хотя архитекторы советуют выносить файлы в S3, реальность часто диктует хранение внутри БД. Руководитель группы по оптимизации приложений Александр Попов разбирает, как работают стандартные механизмы bytea и pg_largeobject, где находятся их «бутылочные горлышки» и как эти ограничения обходятся в Postgres Pro Enterprise.

https://habr.com/ru/companies/postgrespro/articles/970544/

#базы_данных #хранение_данных #хранение_данных_в_бд #хранение_данных_в_postgresq #postgresql #postgres #postgres_pro #postgres_pro_enterprise

Как мы постепенно идём к «умному» центру администрирования СУБД

Что общего у массового применения конфигураций, встроенной поддержки OpenTelemetry и управления HA-кластерами в пару кликов? Всё это — части пазла, который мы собираем, чтобы сделать администрирование PostgreSQL по-настоящему удобным и безопасным. Выход версии Postgres Pro Enterprise Manager (PPEM) 2.3 стал важной вехой в развитии нашего графического интерфейса. Мы добавили поддержку пользовательских пресетов, переработали систему алертинга и усилили RBAC-модель управления доступом. Разбираем ключевые нововведения релиза, которые помогут навести порядок в зоопарке конфигураций и спать спокойно, зная, что система сама предупредит о проблемах.

https://habr.com/ru/companies/postgrespro/articles/968570/

#ppem #postgresql #postgres #postgres_pro #postgres_pro_enterprise #postgres_professional #postgres_pro_standard

Пятничные заявки и 6 ТБ WAL: будни инженера поддержки Postgres Professional

Техподдержка бывает разная. Где-то это «попробуйте перезагрузить» или «проверьте провод», а где-то — сложные инженерные задачи, которым не жалко посвятить хоть всю жизнь. Какой вариант в поддержке Postgres Professional и кого/чего больше в этой сфере — людей или технологий, — разбираемся со старшим инженером технической поддержки Postgres Professional Камилем Каримовым.

https://habr.com/ru/companies/postgrespro/articles/966618/

#инженер_технической_поддержки #техподдержа #техническая_поддержка #базы_данных #postgresql #postgres_pro

Очереди сообщений в Postgres Pro: отказ от внешних брокеров ради транзакционной надёжности

Ваш сервис отправил сообщение в RabbitMQ, но в момент коммита транзакция в базе данных откатилась. Классический кошмар распределенных систем, порождающий данные-призраки и часы отладки. Обычно эту проблему решают сложным кодом, двухфазными коммитами или просто надеждой на лучшее. А что, если бы откат транзакции в PostgreSQL мог автоматически «откатить» и отправку сообщения, вернув его в очередь без единой строчки вашего кода? Рассказываем, как это работает.

https://habr.com/ru/companies/postgrespro/articles/965632/

#postgresql #kafka #kafka_apache #брокер_сообщений #брокеры_сообщений #базы_данных #postgres_pro #postgres_pro_enterprise

От слов к делу: как Postgres Pro строит будущее в Академгородке

Большинство IT-компаний говорят, что поддерживают open source. На деле это часто означает использование чужого кода и PR-активность. Мы считаем, что настоящий вклад — это коммиты в ядро. И чтобы делать это системно, мы открыли инженерный центр не в столичном бизнес-парке, а в месте, где фундаментальная наука — часть культурного кода. Рассказываем, почему будущее системного программирования мы строим в новосибирском Академгородке.

https://habr.com/ru/companies/postgrespro/articles/964274/

#postgres #postgresql #postgres_pro #postgres_professional

Профессия ML-инженер: как кошка съела акулу и почему ИИ должен дружить с БД

Руководитель отдела машинного обучения Postgres Professional Савелий Батурин рассказал, как он прошёл путь от первых экспериментов в 16 лет до ML-инженера, решающего задачи для СУБД. В статье — обзор ролей в индустрии, развенчание мифа о промпт-инженерах и список ресурсов, которые помогут оставаться в курсе событий.

https://habr.com/ru/companies/postgrespro/articles/962196/

#ml #ии #икусственный_интеллект #machine_learning #mlинженер #mlспециалист #postgresql #postgres_pro #postgres_professional

Демобаза 2.0 для PostgreSQL

Можно ли смоделировать хаос пуассоновских потоков бронирований и конечный автомат состояний рейса (от «по расписанию» до «приземлился») целиком внутри PostgreSQL? Мы решили, что для создания идеальной учебной базы данных — можно. Вместо старых статичных таблиц мы построили генератор, имитирующий жизнь глобальной авиакомпании. Рассказываем, зачем это было нужно и почему старая база на 2,5 ГБ перестала справляться с задачами. Лечу это я, лечу

https://habr.com/ru/companies/postgrespro/articles/956096/

#демобаза #имитационное_моделирование #генерация_данных #postgresql #postgres #postgres_pro