От Infinispan до Postgres на 1 ТБ: эволюция кэша поиска отелей

Всем привет! Хочу рассказать, как мы проектировали кэш поиска отелей и почему за полтора года прошли путь от Infinispan к managed Redis а затем к Postgres. По стеку java-21 , spring-boot-3 , 1 вендор отелей, расчетная нагрузка 1000 RPS и 10M запросов в сутки.

https://habr.com/ru/articles/1030874/

#PostreSQL #миграция #redis #infinispan #java #spring_boot #бронирование_отелей #кэширование

A gente provoca o governo falando em SOCIAL.GOV.BR, mas o banco PostgreSQL do Mastodon escalaria fácil pra dezenas de milhões de usuários?

🤔

#vemprofediverso #thefutureisfederated #Mastodon #postresql #GOVBR

Postgres 18 async IO – шаг к «взрослым» нагрузкам?

Давайте честно – пока что Postgres редко используется для действительно больших и нагруженных баз. Этому множество причин, но главная формулируется просто: « не тянет ». У каждого есть своя граница, где Postgres ещё применим, а дальше —уже нет. Обычно это где-то между одним и пятью терабайтами , дальше жить с этим « больно ». База просто не может обработать большой объем данных с той скоростью, которую способны выдать диски. И вот — Postgres 18, впервые за долгое время, предлагает не косметическую, а фундаментальную новинку . То, что в Oracle есть уже 20+ лет — асинхронный ввод-вывод (аsync IO) . Попробуем посмотреть async IO и ответить на вопрос - стал ли Postgres ближе к «взрослым» нагрузкам?

https://habr.com/ru/articles/958382/

#PostreSQL #Postgres #async_io

Из Excel в SQL. Имеет место быть?

Эта статья, скорее для ознакомления и хотелось бы получить советы по данной работе. Итак, Excel-файл весит 500+ мегабайт, состоит из сотен тысяч строк, десятков листов и формул, которые «протягиваются» по 30+ столбцам — это не работа, а страдание. Именно с таким «монстром» я столкнулся, когда в компании собрались данные из разных отделов в один файл. Вкратце структура файла - Лист "Массив" (Data_Lake - в левой части 34 столбца с которым работают специалисты и на котором отрабатывают основные формулы и правая часть с 46 столбцами, куда подтягиваются сырые данные, с которыми будет производиться обработка). И множеством листов со справочниками, правками. Открытие этого Excel-файла занимает 10 минут, а если обновить хотя бы часть формул — можно идти пить чай. Работать с такими данными просто невозможно, особенно если тебе нужно анализировать их, строить отчёты или готовить выгрузки. Поэтому решил попробовать все перевести на PostgreSQL. Для этого всего лишь требовалось переписать формулы с Excel на SQL. Хорошо, что большинство формул это условия ЕСЛИ, ИЛИ. Вот самая простая формула:

https://habr.com/ru/articles/931758/

#sql #postresql #python #оптимизация #excel

[Перевод] Я завайбкодил и запустил приложение за три дня. И его взломали. Дважды. Вот что я усвоил

Моё приложение представляет собой каталог, который объединяет профили исследователей безопасности с различных платформ, таких как HackerOne, Bugcrowd, GitHub и других. Фронтенд подключается к Supabase, и я создал его с помощью инструментов Lovable и Cursor. Вся автоматизация, которая подает данные в базу данных, обрабатывается отдельно. Изначально я планировал разрешить пользователям самостоятельно регистрироваться через Supabase Auth и запрашивать профили, которые они хотели бы агрегировать. Но в процессе реализации я понял: это создаёт риски, ведь нужно корректно управлять как аутентификацией (какой именно пользователь), так и авторизацией (что ему разрешено). Я отказался от саморегистрации… но упустил важную деталь. (Подробнее об этом чуть позже.)

https://habr.com/ru/articles/915324/

#вайбкодинг #postresql #rls #frontend #безопасность #supabase #cursor

High Availability в Postgres Pro без головной боли

Для тех, кто устал от «зоопарка» решений по созданию отказоустойчивых кластеров, расскажем, как добиться нужной функциональности одним решением. BiHA позволяет данным «выжить», даже если один из ЦОДов был физически уничтожен. Как же мы этого добились?

https://habr.com/ru/companies/postgrespro/articles/898396/

#postresql #postrgres #biha #отказоустойчивость #отказоустойчивые_системы #резервирование #высокая_производительность #высокая_нагрузка #высокая_доступность

#Development #Releases
PostgreSQL 17 · The database gets incremental backup, SQL queries for JSON https://ilo.im/1608f7

_____
#OpenSource #Database #SQL #PostreSQL #Backup #Replication #Transaction #JSON #WebDev #Backend