Discover how an MLOps workflow turns messy Excel wage tables into a clean, analysis‑ready DataFrame. The pipeline normalizes occupational salary data, enriches it with statistical insights, and makes future ML models a breeze. Dive into the step‑by‑step process and see the code you can reuse today. #MLOps #DataNormalization #OccupationalWage #DataPipeline
🔗 https://aidailypost.com/news/mlops-workflow-normalizes-enriches-occupational-wage-data-from-excel
Как мы готовили Kubernetes под ML-нагрузки: пошаговый гайд (и что пошло не так)
Привет! Я Дмитрий, инженер и руководитель направления MLOps в Совкомбанке. Специализируюсь на разработке и эксплуатации ML-платформ на базе Kubernetes и GPU. С 2010 года в ИТ: строю инфраструктуру для машинного обучения, внедряю Kubeflow и GPU-оператор, настраиваю MIG на H100 в корпоративных средах с повышенными требованиями к безопасности и надежности. В последние годы фокусируюсь на оптимизации ML-пайплайнов, повышении утилизации GPU (включая MIG-профили) и интеграции MLOps-практик в процессы продуктовых команд. В 2022 году в некоторых командах разработки уже существовали проекты с применением ИИ, но как отдельные компоненты, не хватало единой платформы управления. По мере роста количества и сложности бизнес-задач возникла необходимость в создании ML-платформы как сервиса с едиными стандартами авторизации. Мы изучили доступные инструменты, попытались объединить их в одном Kubernetes-кластере, столкнулись с рядом ограничений — и в итоге пришли к архитектуре на базе Kubeflow и GPU-оператора. В статье рассказываем, какие сложности были в ходе проекта, как выстроили работу с Kubeflow, настраивали H100 с MIG-разделением и что важно учесть, если вы планируете строить ML-платформу на bare-metal-GPU в корпоративной среде.
https://habr.com/ru/companies/sovcombank_technologies/articles/994534/
#MLOps #DevOps #Kubernetes #Kubeflow #GPU #NVIDIA #H100 #MIG #baremetal #GPUоператор
Google Cloud Observability will soon support native OpenTelemetry (OTLP) ingestion for logs, traces, and metrics via a unified endpoint.
MLOX monitoring is already built around OpenTelemetry and supports both self-hosted backends and remote observability platforms (e.g. New Relic). That means users will soon be able to decide whether to forward their telemetry to GCP-or not 😀
Exactly the kind of flexibility MLOX is built for 🦥
I keep thinking about staff engineers managing ML platforms who barely have time for the work they already have. Would something like this actually save you time? And is email the right place for it, or would you rather get this in Slack or somewhere else?
When the system is fair and legible, hoarding becomes irrational. People stop doing it.
Your GPU cluster isn't suffering from greedy users. It's suffering from a system that rewards defensive behaviour.
Fix the incentives. The hoarding fixes itself.
DeepReinforce (@deep_reinforce)
IterX의 주요 업그레이드 발표: 에이전트 통합 지원이 추가되어 인프라, CUDA, 스마트 컨트랙트, DB, AI/ML Ops 등 광범위한 코드 최적화를 에이전트(예: claude code, cursor)가 처리하도록 하여 수동 코딩을 줄이고 온보딩을 간소화했습니다.
🚀Major IterX upgrade: Agent integration is now supported! 🔹Optimizing Hardcore Code: SOTA in Infra, CUDA, Smart Contracts, DBs, AI/ML Ops and beyond. 🔹No Manual Code: Agents (claude code, cursor) handle the integration. Effortless Onboarding! #CUDA #AI
Monday, fresh slate 🦥
This week’s MLOX focus:
• simplify one rough edge in the CLI
• improve one onboarding path
• remove at least one unnecessary abstraction
Small steps, boring progress, the good kind.
AI Daily Post
Habr
DrBusySloth
strickvl
jastram
sayzard
Zajey
Morten