A comprehensive comparison of Celery and Temporal for orchestrating AI tasks, covering architecture, performance, features, and use cases in distributed AI workflows.
#Celery #Temporal #AI task orchestration #distributed systems #workflow automation
https://dasroot.net/posts/2026/02/orchestrating-ai-tasks-celery-temporal/
Django Crontask version 2.0 is out the door! Thanks for all your wonderful contributions and bug chases.
Heartbeat-мониторинг cron-job'ов: dead-man-switch на FastAPI
Обычный uptime-мониторинг проверяет, отвечает ли сервис на запросы. Cron-job ничего не отвечает — он запускается раз в N часов, делает работу и молча завершается. Если cron перестал запускаться (uptime daemon упал, машина в read-only mode после fsck, disk full) — обычный мониторинг этого не видит. Решение известно с 70-х — паттерн dead-man-switch (он же heartbeat). Я недавно делал heartbeat-эндпоинты для Valpero. Здесь разберу серверную часть на FastAPI + клиентский bash-pattern, и edge-кейсы которые их ломают. В конце готовый код, который можно адаптировать под свой стек.
https://habr.com/ru/articles/1035624/
#cron #heartbeat #deadmanswitch #monitoring #alerting #bash #FastAPI #Celery #devops #linux
2 ROM pour apprendre le Kaizo - Celery et Starting with Kaizo - Se7h une ROM Hack
Зеленые потоки Celery. Gevent и Eventlet
Вторая статья цикла о внутрянке Celery: на этот раз — зелёные потоки (gevent/eventlet). Как gevent и eventlet работают под капотом Celery, что такое Hub, monkey patching и почему autoscale для гринлетов бесполезен. А ещё — неожиданный бенчмарк: prefork против gevent на одном ядре. Спойлер: gevent проигрывает, но не спешите его хоронить. Для тех, кто выбирает пул под свои задачи. А пойду готовить докер-селери-кубер-автоскейл .
Time for a coffee! I've got a whole #chicken cooking covered with chopped #potatoes, #carrots, #leeks, #swede, #courgette, #mushrooms, #garlic, #celery, bay leaf, mixed #herbs & chicken stock. I'll use the carcase to make a chicken #soup with the leftover veg in the fridge tomorrow.
Celery Autoscale: что в лоб — то по лбу?
Celery популярен. Модель prefork работает по умолчанию. Autoscale смотрится неплохим вариантом для любого воркера. Идея посмотреть, как выглядит механизм изнутри родилась давно, когда по работе сталкивался с проблемами у клиентов в отложенных задачах, но никаких артефактов или задокументированного аномального поведения не было. Это стартовая статья об архитектуре, моделях и масштабировании Celery.
Как мы переписывали логику очередей: Celery => aio-pika => FastStream
Наш путь активной работы с очередями RabbitMQ начался с классического Celery. Осознав критичность низкоуровневого контроля системы, принялись работать с aio-pika. Но и этот уровень слишком местами сложный (далее расскажу почему), и нашли отличное решение, на текущий момент, в лице FastStream. Сразу оставлю такую пометку, что каждый инструмент подходит для решения своей задачи. Мы больше хотели сделать акцент на удобство и скорость разработки относительно затрачиваемого времени на миграции решений. N.B. : Код возможно покажется неоптимальным или старым. Это всё наш дорогой Легаси.
At-least-once. Это не баг провайдера. Это ваша архитектурная проблема
Думал, зайду в крипту и буду просто дёргать API блокчейна. Не вышло. Захожу в проект. Стек: FastAPI, PostgreSQL, Redis как Celery broker, Celery workers, Docker, Web3. Стартап на хайпе, деньги реальные, архитектура собрана на коленке. Смотрю на архитектуру платёжного процессинга и первая мысль: ребята, вы серьёзно? Финансовые операции с реальными деньгами, без idempotency вообще, Redis как брокер без persistence, Web3.py синхронные вызовы внутри Celery тасков. Разговор был короткий: задача такая, чини что есть. Сроки горели.
https://habr.com/ru/articles/1028708/
#idempotency #PostgreSQL #Celery #FastAPI #Redis #atleastonce #webhook #distributed_systems #финтех
Rost Glukhov
codingjoe 
Habr
Se7h_Bzh
शून्यता
Jeff's Naked Life
