Шардинг* с равномерным распределением

Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).

https://habr.com/ru/articles/1008762/

#Шардинг #sharding

10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси

Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на

https://habr.com/ru/companies/yandex/articles/985030/

#postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных

#CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.

This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.

Read more on #InfoQ 👉 https://bit.ly/4rjf8IW

#DistributedData #LowLatency #Sharding #LoadBalancing

#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22

Khám phá Phần 3 xây dựng hạ tầng SaaS: Citus Database Performance – khi sharding giúp và khi gây hại. Bài viết phân tích khi nào phân vùng dữ liệu thực sự tăng hiệu suất, khi nào lại khiến truy vấn chậm và tăng chi phí. Các lưu ý: phù hợp với read‑heavy workloads, tránh sharding khi write‑bound hoặc dữ liệu liền kề. Bạn muốn tối ưu Citus? Đọc ngay nhé!
#SaaS #Citus #Sharding #CơSởDữLiệu #DatabaseOptimization

https://www.reddit.com/r/SaaS/comments/1p6rpq3/part_3_saas_infrastructure_buildout_ci

#CaseStudy - #Airbnb upgraded Mussel!

The multi-tenant key-value store now replaces static per-client rate limits with an adaptive, resource-aware traffic control system.
✅ Ensures resilience during traffic spikes
✅ Protects critical workflows
✅ Maintains fair usage across thousands of tenants
✅ Scales efficiently

Discover more here: https://bit.ly/48yJalh

#InfoQ #SoftwareArchitecture #LowLatency #Kubernetes #CostSavings #RealTime #Algorithms #Sharding

#Sharding is (another) one of the things that makes @couchdb such a scalable distributed database 📐

It’s an architectural consideration that very few DBs make as automatic and transparent as CouchDB.

We cover, in depth:
- what shards are
- how #CouchDB uses them
- performance gains and trade-offs

in our new post:
https://neighbourhood.ie/blog/2025/10/01/first-steps-sharding-in-couchdb?pk_campaign=mastodon&pk_kwd=shard

A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge

#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance