AI inference на K8s: как выживать с LLM в кубере. DRA, GIE, LLM-D

Для многих обывателей, да и инженеров, которые не углублялись в тему, работа с LLM выглядит как работа с обычным сервисом: мы просто кидаем запросы по нужному endpoint и получаем JSON с ответом. Но на деле появляется много вопросов: как здесь работает кэш? От чего зависит время ответа? Что делать с огромным контекстным окном? И если у нас один GPU-сервер, на котором происходят все вычисления, то это не так и важно. Но что делать с масштабными распределёнными системами? Обычный Kubernetes не понимает, как устроен запрос языковой модели. Однако за последний год платформенные инженеры очень хорошо продвинулись в этом вопросе. И в этой статье я хочу подробно разобрать, как именно строится K8s-кластер под высоконагруженные LLM.

https://habr.com/ru/companies/ruvds/articles/1042292/

#llm #kubernetes #dra #gie #llmd #kserve #ruvds_статьи

AI inference на K8s: как выживать с LLM в кубере. DRA, GIE, LLM-D

Для многих обывателей, да и инженеров, которые не углублялись в тему, работа с LLM выглядит как работа с обычным сервисом: мы просто кидаем запросы по нужному endpoint и получаем JSON с ответом. Но на деле появляется много вопросов: как здесь работает кэш? От чего зависит время ответа? Что делать с огромным контекстным окном? И если у нас один GPU-сервер, на котором происходят все вычисления, то это не так и важно. Но что делать с масштабными распределёнными системами? Обычный Kubernetes не понимает, как устроен запрос языковой модели. Однако за последний год платформенные инженеры очень хорошо продвинулись в этом вопросе. И в этой статье я хочу подробно разобрать, как именно строится K8s-кластер под высоконагруженные LLM.

https://habr.com/ru/companies/ruvds/articles/1042292/

#llm #kubernetes #dra #gie #llmd #kserve #ruvds_статьи

Red Hat and Tesla engineers tackled a real production problem together.

3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

This is what open source looks like. 🤝 🚀

https://llm-d.ai/blog/production-grade-llm-inference-at-scale-kserve-llm-d-vllm

#RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

Distributed inference is becoming a standard cloud native workload.
#llmd has joined the #CNCF Sandbox, bringing Kubernetes-native routing, orchestration, and disaggregated serving to AI inference.

Learn more: https://www.cncf.io/blog/2026/03/24/welcome-llm-d-to-the-cncf-evolving-kubernetes-into-sota-ai-infrastructure/
#Kubernetes #AI #CloudNative #CNCF

AI at the edge is an infrastructure puzzle. Red Hat is helping solve it by contributing llm-d to the #CNCF, establishing "well-lit paths" for AI-RAN orchestration with SoftBank. 🐧

This is about optimization—making inference a first-class citizen alongside traditional containers.

Proud to see Red Hat continuing our legacy of open-source leadership, from #Kubernetes and #etcd to #KEDA and now #llmd.

Read more: https://www.redhat.com/en/blog/how-llm-d-brings-critical-resource-optimization-softbanks-ai-ran-orchestrator

#RedHat #AI #OpenSource #KubeCon #CloudNative

Red Hat is contributing llm-d to the #CNCF, turning fragmented AI into modular, interoperable microservices. 🐧

The goal? Make AI inference a first-class citizen in the same cloud-native environment as your traditional apps.

I love how Red Hat continues to fuel the #OpenSource ecosystem. From our roots in #Kubernetes and #etcd to newer projects like #KEDA and #CRI-O, we’re committed to building "well-lit paths" for everyone.

#RedHat #KubeCon #CloudNativeCon #AI #llmd

https://www.redhat.com/en/blog/why-were-contributing-llm-d-cncf-standardizing-future-ai?sc_cid=701f2000000txokAAA&utm_source=bambu&utm_medium=organic_social

Red Hat AI 3 is GA!

https://docs.redhat.com/en/documentation/red_hat_ai/3

#RedHat #RedHatAI #RHAIIS #OpenShift #OpenShiftAI #vLLM #KServe #Kubeflow #llmd #AI #GenAI #AIPlatform #OpenSource #OpenSourceAI

3 things to know about Red Hat AI 3

https://www.youtube.com/watch?v=eztORiJWYMs

#RedHat #AI #RedHatAI #llmd #Agentic #MCP #ModelContextProtocol #LlamaStack #OpenSource #OpenShift #OpenShiftAI

Updating stickers on laptops... let's see how many I can tag

@matrix @ansible @InstructLab @thinkpadmuseum @trustyai @github @fedora

#ramalama #docling #vllm #llmd #pytorch #NERC #redhat #ospo #upstream #ansible #thinkpad #womeninfedora #expo2025 #kubeflow #trustyAI #cushingcenter #operationstickybusiness