Learn the critical failure points when running LLM inference on Kubernetes, including resource constraints, operator compatibility, security, scalability, and monitoring best practices for production workloads.

#Kubernetes #LLM Inference #Dynatrace #GPU Resource Allocation #Service Mesh #Network Policies #KEDA #Triton Inference Server #Redis #Prometheus

https://dasroot.net/posts/2026/02/running-llm-inference-on-kubernetes-what-breaks-first/

Running LLM Inference on Kubernetes: What Breaks First

Learn the critical failure points when running LLM inference on Kubernetes, including resource constraints, operator compatibility, security, scalability, and monitoring best practices for production workloads.

Technical news about AI, coding and all

Blog - I had a new bit of learning with Kubernetes Event Driven Autoscaling today

Changing Piefed Worker Scaling to be Based on Queue Size in Kubernetes with KEDA
I recently caused myself a bit of a minor issue by installing some updates on the Keyboard Vagabond cluster. It wasn’t a big deal, just s…

Changing Piefed Worker Scaling to be Based on Queue Size in Kubernetes with KEDA

I recently caused myself a bit of a minor issue by installing some updates on the Keyboard Vagabond cluster. It wasn't a big deal, just s...

Software and Tech
Blog - I had a new bit of learning with Kubernetes Event Driven Autoscaling today

_Changing Piefed Worker Scaling to be Based on Queue Size in Kubernetes with KEDA_ I recently caused myself a bit of a minor issue by installing…

Реальный кейс настройки Pod Autoscaling в k8s с точки зрения разработчика

На носу 2026 год, а я хочу поделиться своим путешествием по переводу приложения на инфраструктуру Kubernetes. И самая сложная и интересная часть, как раз, настройка автоскейлинга. Не слишком ли заезженная тема? Думаю нет, потому что я буду рассказывать именно с позиции разработчика приложения, а не девопса. Мне повезло, я без понятия как это всё настраивается. Я буду рассказывать как это всё работает. Конфигов кубера будет минимум, рассуждений и погружений в метрики максимум. В конце оставил TL;DR. Поехали?

https://habr.com/ru/articles/973936/

#kubernetes #hpa #horizontal_pod_autoscaler #keda #ec2 #cadvisor #k8s

Реальный кейс настройки Pod Autoscaling в k8s с точки зрения разработчика

Что я знаю о бриллиантах? Я устраиваю боксерские бои. Всего неделю назад я устраивал боксерские бои и радовался жизни, и вдруг... Что я знаю о бриллиантах? На носу 2026 год, а я хочу поделиться своим...

Хабр

From event-driven architectures to autoscaling, from #cloudnative #microservices to agentic AI, from corporate to #opensource and startups - the latest episode of OpenObservability Talks has it all!

I invited co-creator of #Dapr & #KEDA @yaronschneider to give us us the grand tour:
https://medium.com/p/eb2f4013d9a1

Автомасштабируем узлы кластера Kubernetes. Часть 2

Всем привет! Это вновь Илья Смирнов, архитектор решений из

https://habr.com/ru/companies/cloud_ru/articles/948140/

#keda #мультиклауд #масштабирование #eventdriven

Автомасштабируем узлы кластера Kubernetes. Часть 2

Всем привет! Это вновь Илья Смирнов, архитектор решений из Cloud.ru . В прошлой статье мы рассмотрели традиционные подходы к масштабированию подов и узлов кластера Kubernetes. Но остался нерешенным...

Хабр
Hah score! Managed to push data from #HomeAssistant to #MQTT using the MQTT Publish action in HA, then https://github.com/hikhvar/mqtt2prometheus picks it up and services it up to #Prometheus for use in queries. Will need to switch my #Keda scale object from a #RabbitMQ one to a Prometheus query. But will first let this metric sit there for a few days to make sure it behaves as expected.

Автомасштабируем узлы кластера Kubernetes. Часть 1

Автомасштабирование узлов кластера Kubernetes и горизонтальное масштабирование подов позволяют быстро расширить ресурсы при пиковых нагрузках. Но сложные приложения могут не нагружать поды или узлы максимально, но требовать дополнительных ресурсов, например, для параллельной обработки нескольких объектов в очереди. Триггером масштабирования кластера может быть не утилизация, а события от внешних систем — например, очереди сообщений Kafka, системы мониторинга Prometheus или от платформы CI/CD. Всем привет! Меня зовут Илья Смирнов, я архитектор решений в

https://habr.com/ru/companies/cloud_ru/articles/941976/

#keda #k8s #kubernetes #автомасштабирование #managed_kubernetes

Автомасштабируем узлы кластера Kubernetes. Часть 1

Автомасштабирование узлов кластера Kubernetes и горизонтальное масштабирование подов позволяют быстро расширить ресурсы при пиковых нагрузках. Но сложные приложения могут не нагружать поды или узлы...

Хабр

Автомасштабирование KEDA. Часть 1

Автомасштабирование узлов кластера Kubernetes и горизонтальное масштабирование подов позволяют быстро расширить ресурсы при пиковых нагрузках. Но сложные приложения могут не нагружать поды или узлы максимально, но требовать дополнительных ресурсов, например, для параллельной обработки нескольких объектов в очереди. Триггером масштабирования кластера может быть не утилизация, а события от внешних систем — например, очереди сообщений Kafka, системы мониторинга Prometheus или от платформы CI/CD. Всем привет! Меня зовут Илья Смирнов, я архитектор решений в Читать дальше

https://habr.com/ru/companies/cloud_ru/articles/940956/

#keda #kubernetes #k8s #автомасштабирование #managed_kubernetes #cloudru_evolution

Автомасштабирование KEDA. Часть 1

Автомасштабирование узлов кластера Kubernetes и горизонтальное масштабирование подов позволяют быстро расширить ресурсы при пиковых нагрузках. Но сложные приложения могут не нагружать поды или узлы...

Хабр

Still have to implement the #HomeAssistant #prometheus/#OTEL export to make #Keda be able to do this.

Plus, I still need to get a decent autoscaler in place. But first, to blog about my current one. Main "issue" is that my current one only takes one node offline every cron job run. So to take 5 dow,n it needs 50 minutes.

That is not ideal when it gets hotter than desired, but doable when it's mainly idle nodes. This plays in directly with https://blog.wyrihaximus.net/2024/12/building-a-kubernetes-homelab-with-raspberry-pies-and-lego-nodes-enclosure/

Building a kubernetes homelab with Raspberry Pi and Lego: Nodes: Enclosure

One of the main concerns with using LEGO to build enclosures for the nodes is safety. Raspberry Pies can get hot, and no one wants things to go ablaze. So I, after a few iterations, designed the enclosures with plenty of room for moving air around and through the nodes. And in theory that can be stacked on each other. With a big fan on the front to keep it cool.

Cees-Jan Kiewiet's blog