Ваша LLM стримит в никуда: разбираемся, как работать с дисконнектами в FastAPI
Что делает ваше FastAPI-приложение, когда клиент неожиданно закрывает соединение? По умолчанию — ничего. Если сервису важно экономить ресурсы (например, при работе с LLM), дисконнекты приходится обрабатывать явно, иначе GPU продолжит генерировать токены в пустоту. В FastAPI есть встроенные механизмы отмены обработки запроса при дисконнекте клиента. Однако просто включить их недостаточно: нужно подготовить ваш код к этому. Иначе возможны проблемы: зависшие транзакции и сломанный пул соединений с БД.
https://habr.com/ru/companies/tochka/articles/992134/
#fastapi #starlette #uvicorn #стримминг #sse #дисконнекты #отмена_запроса #asgi
[Перевод] Python 3.14 без GIL: что это значит для веб-разработки
Команда Python for Devs подготовила перевод статьи о том, как "free-threaded" Python меняет правила игры для веб-сервисов. Автор сравнивает Python 3.14 с GIL и без него на реальных ASGI и WSGI приложениях — и приходит к неожиданному выводу: несмотря на локальные просадки в производительности, "free-threaded" Python уже сейчас может упростить масштабирование и снизить накладные расходы.
https://habr.com/ru/articles/967244/
#Python #GIL #freethreading #вебсервисы #ASGI #WSGI #производительность #конкурентность #Granian #FastAPI
Практическое тестирование приложений
Всем привет! Эта статья — продолжение материала про универсальный прототип бэкенд-приложений. В ней я поделюсь практическим опытом написания тестов и покажу, как выбранная архитектура упрощает этот процесс. Ну что ж, приступим
https://habr.com/ru/articles/958014/
#python #faststream #dishka #litestar #fastapi #sqlalchemy #pydantic #asgi #pytest
Ogni anno in provincia di Bolzano centinaia di richiedenti asilo sono esclusi dal sistema di accoglienza. Le procedure di “messa in quota” e gli effetti della “circolare Critelli” creano lunghe attese e separano le famiglie, mentre l’insufficienza di posti nelle strutture e nei dormitori espone le persone a condizioni di estrema precarietà, costringendole in molti casi all’addiaccio
A settembre la sezione Lavoro del Tribunale ha sollevato la questione di legittimità costituzionale delle norme che escludono le persone straniere con disabilità e permesso di soggiorno “per residenza elettiva” dall’iscrizione gratuita al Servizio sanitario nazionale e impongono il pagamento di duemila euro per l’accesso. “Si tratta di una contraddizione paradossale”, denuncia l'avvocato Asgi, Alberto Guariso