Планируем GPU-нагрузку в Kubernetes: от стандартных механизмов до кастомных решений

Привет, Хабр! Меня зовут Макарий, и как Senior SRE в Yandex Cloud я не только участвовал в разработке Managed Service for Kubernetes, но и всегда любил в свободное время посмотреть, что интересного понавыпускали для «кубика». Kubernetes, как де‑факто стандарт оркестрации контейнеров, предлагает базовые механизмы для управления вычислительными ресурсами. Однако стандартный планировщик Kubernetes (kube‑scheduler) разрабатывался с учётом общих принципов балансировки нагрузки и не специализирован для уникальных особенностей рабочих GPU‑нагрузок. Предлагаю рассмотреть весь спектр возможностей — от встроенных механизмов шедулинга K8s до специализированных планировщиков, таких как Volcano, Apache YuniKorn и KAI‑Scheduler. Проанализирую конкретные сценарии, в которых каждый из этих инструментов демонстрирует свои преимущества, и предложу рекомендации по выбору оптимального решения для ваших рабочих GPU‑нагрузок.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/971026/

#kubernetes #scheduler #scheduling #kai #Apache_YuniKorn #JobSet #Volcano_Scheduler #Kueue

Планируем GPU-нагрузку в Kubernetes: от стандартных механизмов до кастомных решений

Привет, Хабр! Меня зовут Макарий, и как Senior SRE в Yandex Cloud я не только участвовал в разработке Managed Service for Kubernetes, но и всегда любил в свободное время...

Хабр
KiCAD #7 - Jobsets - Important new feature We just discovered a "new" feature in KiCAD - Jobsets. It helps streamline the PCB ordering process. #STM32 #STM32World #KiCAD #Jobset www.youtube.com/watch?v=K7Mo...

KiCAD #7 - EXCITING New Featur...
KiCAD #7 - EXCITING New Feature Jobsets

YouTube

KiCAD #7 - Jobsets - Important new feature

We just discovered a "new" feature in KiCAD - Jobsets. It helps streamline the PCB ordering process.

#STM32 #STM32World #KiCAD #Jobset

https://www.youtube.com/watch?v=K7MoJ5Hx3mg

KiCAD #7 - EXCITING New Feature Jobsets

YouTube
#Kubecon is just a few weeks away! 😱 And guess what, half of our talk (first in the list here https://www.cncf.io/announcements/2023/08/30/cloud-native-computing-foundation-unveils-schedule-for-kubecon-cloudnativecon-north-america-2023/) showcasing #JobSet is done and I am so excited! 😍 I can't wait to share with you some of our collaborative work in #LivermoreComputing for #ConvergedComputing and the fabulous JobSet! 🎉
Cloud Native Computing Foundation Unveils Schedule for KubeCon + CloudNativeCon North America 2023 | Cloud Native Computing Foundation

CNCF’s flagship event will bring together thousands of open source and cloud native enthusiasts SAN FRANCISCO, Calif. – August 30, 2023 – The Cloud Native Computing Foundation® (CNCF®)…

Cloud Native Computing Foundation

The #kubecon schedule is live!! 🎉😍
We are coming back for more fun!! 🤯🦖😄

Come learn about the #JobSet API for running complex workflows/experiments for cloud and #HPC on #Kubernetes!

Let's move to a future of working together in this #convergedcomputing space. ❤️

https://twitter.com/CloudNativeFdn/status/1696931060544647453

CNCF on X

[NEWS] The schedule for #KubeCon + #CloudNativeCon North America is live! 🎊 Join us November 6-9 in Chicago + online for 196 keynotes, talks, and breakouts, plus 97 #CNCF project maintainer sessions! View the schedule and learn more: https://t.co/m1S7z7lFh7

X (formerly Twitter)