Tiago FA gente provoca o governo falando em SOCIAL.GOV.BR, mas o banco PostgreSQL do Mastodon escalaria fácil pra dezenas de milhões de usuários?
🤔
#vemprofediverso #thefutureisfederated #Mastodon #postresql #GOVBR
HabrPostgres 18 async IO – шаг к «взрослым» нагрузкам?
Давайте честно – пока что Postgres редко используется для действительно больших и нагруженных баз. Этому множество причин, но главная формулируется просто: « не тянет ». У каждого есть своя граница, где Postgres ещё применим, а дальше —уже нет. Обычно это где-то между одним и пятью терабайтами , дальше жить с этим « больно ». База просто не может обработать большой объем данных с той скоростью, которую способны выдать диски. И вот — Postgres 18, впервые за долгое время, предлагает не косметическую, а фундаментальную новинку . То, что в Oracle есть уже 20+ лет — асинхронный ввод-вывод (аsync IO) . Попробуем посмотреть async IO и ответить на вопрос - стал ли Postgres ближе к «взрослым» нагрузкам?
Из Excel в SQL. Имеет место быть?
Эта статья, скорее для ознакомления и хотелось бы получить советы по данной работе. Итак, Excel-файл весит 500+ мегабайт, состоит из сотен тысяч строк, десятков листов и формул, которые «протягиваются» по 30+ столбцам — это не работа, а страдание. Именно с таким «монстром» я столкнулся, когда в компании собрались данные из разных отделов в один файл. Вкратце структура файла - Лист "Массив" (Data_Lake - в левой части 34 столбца с которым работают специалисты и на котором отрабатывают основные формулы и правая часть с 46 столбцами, куда подтягиваются сырые данные, с которыми будет производиться обработка). И множеством листов со справочниками, правками. Открытие этого Excel-файла занимает 10 минут, а если обновить хотя бы часть формул — можно идти пить чай. Работать с такими данными просто невозможно, особенно если тебе нужно анализировать их, строить отчёты или готовить выгрузки. Поэтому решил попробовать все перевести на PostgreSQL. Для этого всего лишь требовалось переписать формулы с Excel на SQL. Хорошо, что большинство формул это условия ЕСЛИ, ИЛИ. Вот самая простая формула:
Ben RamseyWhy in the world did #PostreSQL choose `||` as the string concatenation operator?
[Перевод] Я завайбкодил и запустил приложение за три дня. И его взломали. Дважды. Вот что я усвоил
Моё приложение представляет собой каталог, который объединяет профили исследователей безопасности с различных платформ, таких как HackerOne, Bugcrowd, GitHub и других. Фронтенд подключается к Supabase, и я создал его с помощью инструментов Lovable и Cursor. Вся автоматизация, которая подает данные в базу данных, обрабатывается отдельно. Изначально я планировал разрешить пользователям самостоятельно регистрироваться через Supabase Auth и запрашивать профили, которые они хотели бы агрегировать. Но в процессе реализации я понял: это создаёт риски, ведь нужно корректно управлять как аутентификацией (какой именно пользователь), так и авторизацией (что ему разрешено). Я отказался от саморегистрации… но упустил важную деталь. (Подробнее об этом чуть позже.)
https://habr.com/ru/articles/915324/
#вайбкодинг #postresql #rls #frontend #безопасность #supabase #cursor
Douglas J HunleyPerformance archaeology: OLAP #postresql https://vondra.me/posts/postgres-performance-archaeology-olap/
High Availability в Postgres Pro без головной боли
Для тех, кто устал от «зоопарка» решений по созданию отказоустойчивых кластеров, расскажем, как добиться нужной функциональности одним решением. BiHA позволяет данным «выжить», даже если один из ЦОДов был физически уничтожен. Как же мы этого добились?
https://habr.com/ru/companies/postgrespro/articles/898396/
#postresql #postrgres #biha #отказоустойчивость #отказоустойчивые_системы #резервирование #высокая_производительность #высокая_нагрузка #высокая_доступность
PostGIS 3.5.0
The PostGIS Team is pleased to release PostGIS 3.5.0! Best Served with PostgreSQL 17 RC1 and GEOS 3.13.0. This version requires PostgreSQL 12 - 17, GEOS 3.8 or higher, and Proj 6.1+. To take advantage of all features, GEOS 3.12+ is needed. SFCGAL 1.4+ is needed to enable postgis_sfcgal support. To take advantage of all SFCGAL features, SFCGAL 1.5 is needed. 3.5.0 source download md5 NEWS PDF docs: en ja, fr, zh_Hans HTML Online en ja fr zh_Hans Cheat Sheets: postgis: en ja fr zh_Hans postgis_raster: en ja fr zh_Hans postgis_topology: en ja fr zh_Hans postgis_sfcgal: en ja fr zh_Hans address standardizer, postgis_tiger_geocoder: en ja fr zh_Hans This release is a feature release that includes bug fixes since PostGIS 3.4.3, new features, and a few breaking changes.
Inautilo#Development #Releases
PostgreSQL 17 · The database gets incremental backup, SQL queries for JSON https://ilo.im/1608f7
_____
#OpenSource #Database #SQL #PostreSQL #Backup #Replication #Transaction #JSON #WebDev #Backend
Как реализовать и оптимизировать UPSERT в Greenplum 6
Привет! Меня зовут Антон Васильев, я работаю инженером технической поддержки компании Arenadata и нередко сталкиваюсь с довольно каверзными задачами и багами. Одной из них была проблема оптимизации механизма UPSERT в Greenplum 6. В этой статье я хочу рассказать, как эта задача может быть решена.
