[Перевод] Объединение DevOps и MLOps в единую экосистему поставки ПО

Я уже некоторое время работаю в компании Scalehost, где мы исследуем возможности внедрения AI и ML в нашу инфраструктуру. В процессе поиска материалов, я наткнулся на данную статью, которая показалась мне интересной. В ней рассматривается как объединение подходов DevOps и MLOps помогает компаниям создавать более устойчивые и эффективные процессы разработки, снижать риски и повышать качество продуктов. Этот материал будет полезен техническим специалистам - DevOps-инженерам, дата-сайентистам и разработчикам, - и руководителям, стремящимся понять, как грамотно интегрировать технологии искусственного интеллекта в свои решения.

https://habr.com/ru/articles/956816/

#devops #mlops #mlops_tools #исскуственный_интеллект

Как и зачем мы в YADRO сделали свою MLOps-платформу

В нашей компании есть много проектов, связанных с AI. Всем им нужны ресурсы для работы с моделями на GPU. «Хотим, чтобы только мы имели доступ к оборудованию», — это лишь одно из требований инженеров из AI-дивизиона, а еще нужно оптимизировать использование GPU-ресурсов, вести их учет и быстро подготавливать оборудование к передаче другой команде. Привет, Хабр! Меня зовут Вадим Извеков, я руководитель группы сопровождения платформы машинного обучения в YADRO. Сегодня расскажу, почему мы решили создать свою MLOps-платформу, как она устроена и для чего используется.

https://habr.com/ru/companies/yadro/articles/940904/

#mlops #mlops_tools #mlops_конвейер #llmмодели #llmприложения

To Docker or not to Docker? Вот в чём JupyterLab

Локальная работа в Jupyter-ноутбуках – неотъемлемая часть исследований и экспериментов нашего ML-отдела. Но из какой среды эти ноутбуки лучше запускать? Мы пользуемся двумя вариантами: запуском из Docker-контейнера и запуском в изолированном локальном poetry-окружении. В статье соберем минимальный сетап для работы с Jupyter-ноутбуками и ссылки на полезные ресурсы для ознакомления.

https://habr.com/ru/articles/911298/

#poetry #docker #dockercompose #mlops #ml #jupyterlab #jupyter #jupyter_notebook #infrastructure #mlops_tools

Удалённое исполнение кода в ML: подходы и инструменты. Доклад Яндекса

Всем привет. На связи Артём Гойлик @ArtoLord и Владислав Волох @Chillintano из команды DataSphere в Yandex Cloud. Мы создаём инфраструктуру для ML-разработчиков. И сегодня расскажем про одну задачу, которая, как и многие другие, начиналась с болей наших пользователей.

https://habr.com/ru/companies/yandex/articles/812873/

#mlops #mlops_tools #pypi #datasphere #python #неймспейсы #опенсорс

Мозг промышленного масштаба или как воплотить мечту в реальность?

В предыдущей статье мы рассмотрели различные типы нейросетей и обсудили, какие задачи можно решать с их помощью. Теперь рассмотрим задачу искусственного интеллекта с организационной и технической точки зрения. При работе над сложными проектами обычно вовлечена команда разработчиков и специалистов по обработке данных, у которых сразу возникают вопросы: как управлять проектом, совместно разрабатывать модель машинного обучения (Machine Learning model), проводить ее тестирование, каким образом синхронизировать код и результаты экспериментов? После разработки и оптимизации ML-модели возникает необходимость ее развертывания в промышленной среде. Все эти проблемы могут казаться менее увлекательными, чем решение самой задачи машинного обучения, но они имеют критическое значение для успешной реализации ML-проектов. В этой статье мы подробно рассмотрим жизненный цикл ML-сервиса от идеи до разработки и внедрения, а также инструменты и принципы, используемые на каждом этапе.

https://habr.com/ru/articles/795985/

#mlflow #mlops #mlops_tools #data_analysis #data_science #mlмодель #mlинженер #docker #kubernetes #project_management

Совместимость (или нет?) MLOps-инструментов

Как и любой уважающий себя инженер, в детстве я любил конструкторы и всякого рода головоломки. Не растерял я эту любовь и сейчас, правда, на смену простеньким детским головоломкам пришли сложные программные системы. Как Lead Data Scientist я решил автоматизировать процессы в разработке для себя и своей команды. Изучил десяток различных MLOps-инструментов, дело оставалось за малым — соединить их в одну общую удобную систему. Вот только этот конструктор отказывался легко собираться… В этом посте я буду говорить в первую очередь об Open Source решениях в мире MLOps. Статья будет в меньшей степени практической, но в конце я разберу существующие открытые MLOps-системы и подведу итоги. Я хочу показать существующую проблему несовместимости, порассуждать, в чем причины ее возникновения, и можно ли ее преодолеть. Мы не будем разбирать полный цикл автоматизации, а задержимся только на вопросах автоматизации пайплайна обучения модели и инструментах организации разработки в команде. ЖМИ

https://habr.com/ru/companies/jetinfosystems/articles/789898/

#искусственный_интеллект #машинное_обучение #дата_сайенс #ml #mlops #mlops_tools #data_science #machinelearning #machinelearning #machine_learning