Очередь задач на Postgres: SKIP LOCKED + lease/heartbeat + backpressure (практический опыт)

Как сделать надёжную очередь задач без Rabbit/Kafka, используя только Postgres? Разбираю боевой паттерн: FOR UPDATE SKIP LOCKED для конкурентного забора, lease/heartbeat для возврата задач после падений и backpressure, чтобы воркеры не съели память.

https://habr.com/ru/articles/984102/

#PostgreSQL #очередь_задач #SKIP_LOCKED #FOR_UPDATE #lease #heartbeat #backpressure #atleastonce #idempotency #graceful_shutdown

Очередь задач на Postgres: SKIP LOCKED + lease/heartbeat + backpressure (практический опыт)

В какой-то момент на старте в нашем data-сервисе (известная в узких кругах аналитическая платформа для селлеров WB/Ozon «Таблички») стало возникать много фоновых работ: ETL‑сенсоры, сложные...

Хабр

Apache Kafka в гарантиях или как надежно доставить сообщение

Apache Kafka — это основа современных распределенных систем, обрабатывающий триллионы событий ежедневно. Но что происходит, если сообщение потерялось, пришло дважды или нарушилась логика бизнес‑процесса? Гарантии доставки в Kafka — это страховка от хаоса в условиях высокой нагрузки и сбоев. В этой статье мы разберем три вида гарантий доставки сообщений на примерах.

https://habr.com/ru/companies/otus/articles/930372/

#apache_kafka #доставка_сообщений #семантика_доставки #гарантия_доставки #AtMostOnce #AtLeastOnce #ExactlyOnce #Kafka_транзакции #идемпотентность_Kafka

Apache Kafka в гарантиях или как надежно доставить сообщение

Автор статьи: Сергей Прощаев @sproshchaev Руководитель направления Java‑разработки в FinTech Введение Apache Kafka — это основа современных распределенных систем, обрабатывающий триллионы...

Хабр

I can #HonestlyTruly say #HandOnHeart that there is not a #Single #AudioRecommendation I've #Referenced #ViaThisMedium that I've #NotBought #AtLeastOnce in #SomeForm / #Format or #Other... #AtSomePoint...

I #Recommend you #DoTheSame... Unless you're #PhilCollins...

🧙⚔️🤖🐺🤖⚔️🧙 | ☕🦹🍪🐻🍪🦹☕