Очередь задач на Postgres: SKIP LOCKED + lease/heartbeat + backpressure (практический опыт)

Как сделать надёжную очередь задач без Rabbit/Kafka, используя только Postgres? Разбираю боевой паттерн: FOR UPDATE SKIP LOCKED для конкурентного забора, lease/heartbeat для возврата задач после падений и backpressure, чтобы воркеры не съели память.

https://habr.com/ru/articles/984102/

#PostgreSQL #очередь_задач #SKIP_LOCKED #FOR_UPDATE #lease #heartbeat #backpressure #atleastonce #idempotency #graceful_shutdown

Очередь задач на Postgres: SKIP LOCKED + lease/heartbeat + backpressure (практический опыт)

В какой-то момент на старте в нашем data-сервисе (известная в узких кругах аналитическая платформа для селлеров WB/Ozon «Таблички») стало возникать много фоновых работ: ETL‑сенсоры, сложные...

Хабр

Как я случайно DDOS-нул hh. ru, пытаясь найти работу: история о том, почему боты должны быть асинхронными (и вежливыми)

Привет, Хабр. С вами снова Вадим. В прошлом посте я рассказывал, как написал AI-бота Аврора , который ищет вакансии вместо меня. Статья залетела, и к нам пришли первые 100 тестеров. И тут началось веселье. Представьте: вы нажимаете кнопку "Найти работу", а бот молчит. 10 секунд, 20 секунд. Вы думаете: "Сломалось" и жмете кнопку еще 5 раз. А на самом деле бот не сломался. Он просто "ушел на кухню готовить". В этой статье расскажу, как мы переписали архитектуру с "однорукого повара" на "промышленный конвейер", зачем использовали SQL вместо модного Redis и как наша скорость стала нашей проблемой. Если вы разработчик - найдете тут код про SKIP LOCKED. Если вы ищете работу - поймете, почему наш бот теперь быстрее, чем пальцы любого рекрутера.

https://habr.com/ru/articles/972270/

#python #postgresql #asyncio #telegram_bot #разработка_ботов #skip_locked #поиск_работы #карьера_в_it #автоматизация #личный_опыт

Как я случайно DDOS-нул hh. ru, пытаясь найти работу: история о том, почему боты должны быть асинхронными (и вежливыми)

Привет, Хабр. С вами снова Вадим. В прошлом посте я рассказывал, как написал AI-бота Аврора , который ищет вакансии вместо меня. Статья залетела, и к нам пришли первые 100 тестеров. И тут началось...

Хабр