동시성 환경에서 서킷 브레이커 복구 조정의 중요성

서킷 브레이커의 상태 머신은 간단하지만, 동시성 환경에서의 복구 과정 조정은 복잡한 문제입니다.

🔗 원문 보기

[Перевод] 9 AI-агентов делят одну API-квоту. Почему обычные ретраи только ломают систему

Девять AI-агентов делят одну API-квоту — и один ответ 429 быстро превращается в каскадный отказ всей системы. В этой статье разбираемся, почему стандартные ретраи и jitter перестают работать при общей квоте, и показывает архитектуру Rate Governor: с приоритетами, общим пулом токенов, предиктивным Circuit Breaker и координацией между агентами. Изучить паттерны

https://habr.com/ru/companies/otus/articles/1044504/

#AIагенты #мультиагентные_системы #rate_limiting #ограничение_запросов #APIквоты #Circuit_Breaker #распределённые_системы #backpressure #Redis

Как я довёл расходы на LLM до нуля: почему на бесплатных тарифах параллелизм — враг

Это продолжение первой статьи про Briefka — там я описывал самого бота и базовую архитектуру каскада LLM-провайдеров. За прошедшие 4 месяца бот органически вырос с 59 до 84 пользователей, и именно на этом масштабе бесплатный каскад начал срываться на платного провайдера. Расскажу, почему так вышло и как я вернул расходы к нулю — с цифрами и кодом. Код ниже — реальные фрагменты из боевого Briefka, слегка сокращённые для читаемости: убраны логирование и сбор статистики.

https://habr.com/ru/articles/1044546/

#llm #ratelimit #asyncio #telegrambot #groq #deepseek #fallback #circuit_breaker

AI Gateway для микросервисов: гайд по интеграции LLM в 2026

В микросервисной архитектуре LLM быстро превращаются из удобного инструмента в отдельный источник рисков: растут счета за токены, появляются задержки, дублируются запросы, а сервисы начинают зависеть от внешних моделей напрямую. В статье разбираем, как спроектировать AI Gateway — инфраструктурный слой для централизованной маршрутизации, кеширования, лимитов, observability и отказоустойчивости при работе с AI‑моделями.

https://habr.com/ru/companies/otus/articles/1031276/

#java #AI_Gateway #LLM #Spring_Cloud_Gateway #semantic_cache #circuit_breaker #microservices_architecture #OpenAI_API

Circuit breaker на Go: пишем свой за 100 строк и разбираем, почему gobreaker работает иначе

Когда один зависимый сервис начинает отвечать медленнее, проблема быстро перестает быть локальной: горутины ждут, соединения заканчиваются, таймауты разъезжаются по всей цепочке. Circuit breaker помогает остановить этот каскад до того, как он положит соседние части системы. В статье разберем, как написать простой breaker на Go примерно за 100 строк, где у такой реализации границы применимости и почему production‑библиотека gobreaker устроена гибче.

https://habr.com/ru/companies/otus/articles/1029182/

#Circuit_breaker #Go #Golang #gobreaker #отказоустойчивость #таймауты #retry #микросервисы #downstreamсервисы #планировщик_Go

Circuit Breaker в микросервисах: как защитить систему от каскадных отказов

Представьте: сервис А звонит сервису Б, а тот зависает. Сервис А ждёт, занимает потоки, не освобождает ресурсы. Потом к нему приходит другой сервис — и тоже встаёт в очередь. Так один сбой разрастается по всей системе, как снежный ком. Этот эффект называется каскадным отказом. Паттерн Circuit Breaker (предохранитель) решает эту проблему. В статье разбираем его на примере ассистента HR с зонтиком, показываем, как настроить Resilience4j, и делимся, какие ошибки стоит (а какие не стоит) учитывать в статистике. Описание Паттерн Circuit Breaker (предохранитель) занимает важное место среди паттернов архитектуры приложений, особенно в микросервисных системах. В чем его суть . Представим сервис А , который обращается к сервису Б . Сервис Б по каким-то причинам начинает плохо себя вести: долго отвечать на запросы или отвечать ошибкой — например, потерял соединение с базой данных. Тогда начинает «страдать» сервис А: он вынужден долго ждать на каждом запросе, занимая ресурсы — свободные потоки, соединения с БД, удерживая транзакции открытыми. Проблема распространяется и умножается на всю систему. У сервиса А занимается всё больше потоков, которые ничего не делают, а просто ждут. Если будут заняты все потоки, сервис А станет полностью неработоспособен. Так проблема разрастается по цепочке — этот эффект называется каскадным отказом (cascading failure). Чтобы решить проблему, сервис А должен иметь защитный механизм, который определяет, что сервис Б сейчас в аварийном состоянии, и временно не обращаться к нему. Этот механизм и называется Circuit Breaker (предохранитель).

https://habr.com/ru/articles/1025394/

#circuit_breaker #микросервисы #отказоустойчивость #java #Архитектура

Что делать, когда AI-агент «упал»: архитектура отказоустойчивости

API OpenAI лёг — что делает ваш агент? Circuit Breaker, Graceful Degradation и 5 уровней деградации. Код на Python + чеклист вопросов подрядчику. Нырнём глубже

https://habr.com/ru/articles/1005576/

#AIагенты #отказоустойчивость #circuit_breaker #LLM #graceful_degradation #SLA

Я почувствовал себя клоуном, подключая 5 библиотек ради устойчивого API-клиента

Если ваш API-клиент выглядит как башня декораторов — вы уже в зоне инженерной боли. Рассказываю, как я из этого выбрался.

https://habr.com/ru/articles/993206/

#python #resilence #api #retry #circuit_breaker

Griddle

Lucas was in the middle of cooking when the power went out. After checking the circuit breaker, Lucas realized he wouldn't be finishing his slab of former neighbor Harry any time soon.

Linda Vista Hospital, Los Angeles, California 2012
#Griddle #Hogwash_Book_Four #circuit_breaker #Linda_Vista_Hospital #Los_Angeles #California #Hogwash #Hog_Wash #photography
https://flic.kr/p/JhLzVK

Circuit Breaker Policy Fine-tuning Best Practice
https://devblogs.microsoft.com/dotnet/circuit-breaker-policy-finetuning-best-practice/

#microsoft #NET #C #Circuit_Breaker #Polly #resilience