ML-пайплайны в Kubernetes: от первой строки кода до автоскейлинга и за его пределами

Ваша ML-модель работает в ноутбуке, а в продакшене — нет. Бывало такое? Именно здесь начинается настоящая инженерная задача: взять эксперимент из Jupyter-ноутбука и превратить его в воспроизводимый, наблюдаемый и масштабируемый пайплайн — от сырых данных до стабильного инференса под реальной нагрузкой. Kubernetes давно стал де-факто стандартом для этой работы: более 70% компаний используют его в продакшене — это не дань хайпу, это прагматичный выбор тех, кто уже наступал на грабли. В этой статье разберем, почему K8s выигрывает у альтернатив именно для ML-нагрузок, а также обсудим какие мифы и анти-паттерны тормозят команды на пути к продакшену. Пройдемся по полному стеку: от подготовки кластера и фиксации данных через DVC до canary-деплоя модели и автоскейлинга GPU-подов. В конце вас ждет взгляд на то, куда движется индустрия: serverless-ML, multi-LLM-ops и edge-развертывания. Если вы DevOps- или MLOps-инженер, которому приходится запускать обучение и инференс в одном кластере, или R&D-инженер, чьи модели «магически ломаются» при переходе в прод — читать обязательно.

https://habr.com/ru/companies/cloud_ru/articles/1011810/

#Kubernetes #MLOps #ML_pipeline #KServe #TFX #DVC #HPA #Prometheus #Grafana #DevOps

Đang thảo luận cách tích hợp router ngữ nghĩa với vLLM và triển khai qua KServe. Các thắc mắc: đặt router ở client, predictor KServe hay service riêng? Cách expose endpoint vLLM sau KServe? Mẹo scaling, giảm latency? Ai đã thử hoặc có mẫu tham khảo, chia sẻ nhé! #AI #MachineLearning #vLLM #KServe #SemanticRouting #CôngNghệ #AIVietnam #LLM

https://www.reddit.com/r/LocalLLaMA/comments/1qh8k2q/integrating_semantic_routing_with_vllm_and/

Red Hat AI 3 is GA!

https://docs.redhat.com/en/documentation/red_hat_ai/3

#RedHat #RedHatAI #RHAIIS #OpenShift #OpenShiftAI #vLLM #KServe #Kubeflow #llmd #AI #GenAI #AIPlatform #OpenSource #OpenSourceAI

KServe joins CNCF as an incubating project

https://www.redhat.com/en/blog/kserve-joins-cncf-incubating-project

#RedHat #Kubernetes #OpenShift #OpenShiftAI #RedHatAI #CNCF #KServe #Inference #ModelServing