Автостопом по граблям: асинхронное лимитирование запросов в Python

Одним солнечным днём мне прилетела задача - написать асинхронный механизм выгрузки данных по API. И тут началось: наивные решения, которые не работают, теоретически правильные концепции, разваливающиеся на практике, и много других неожиданных граблей. В статье я делюсь своим опытом побед и провалов на поприще асинхронного лимитирования запросов: с какими проблемами столкнулся, какие шишки набил и какие инсайты получил по ходу дела. В финале прихожу к решению, которое в итоге оказалось стабильным и продакшн-реди.

https://habr.com/ru/articles/983066/

#python #asyncio #rate_limiting #etl #async_pattern

Автостопом по граблям: асинхронное лимитирование запросов в Python

На днях мне прилетела задача, в которой нужно было вычерпывать данные по HTTP с такими вводными: Есть ограничение по количеству запросов в минуту Объём данных - миллионы записей Один запрос...

Хабр