Пару лет не смотрел на https://dapr.io, а он за это время, оказывается, стабилизировался и активно развивался. Теперь в него даже добавили простой прокси для LLM.
Для тех, кто не знаком, #Darp - это готовый прикладной слой в виде sidecar-контейнеров. Позволяет командам не писать прикладной слой, а использовать готовые компоненты, расплачиваясь необходимостью обучения и небольшим overhead'ом (5-10 % cpu, 5-10 Mb памяти и 5-10 ms latency на gRPC).