Как я уместил весь MLOps пайплайн в 10 строк

В последнее время я часто работал с разными ML-проектами в GitLab. В каждом был свой .gitlab-ci.yml , своя обвязка вокруг MLFlow, своя регистрация и валидация модели. Со временем я понял, что MLOps пайплайн во всех проектах очень похож, а при работе с новыми копипаста размножается быстрее кроликов. Ну и тут уже хочешь не хочешь, но идея сделать общий шаблон напрашивается. Однако будем честны, обычный template для CI — это круто, но хочется чего-то гибкого, декларативного и красивого. Для достижения этих целей GitLab уже давно предлагает переходить на CI/CD компоненты . В результате я хотел видеть 10 строк YAML, которые будут выдавать полноценный пайплайн с валидацией данных, обучением, quality gates и регистрацией модели. И спустя месяц я добился желаемого. В этой статье покажу, как устроен компонент, на какие грабли наступал по пути, и как подключить всё это в ваш проект. Сам компонент.

https://habr.com/ru/companies/ruvds/articles/1013854/

#mlops #gitlab #gitlabci #ml #mlflow #ruvds_статьи

Как я уместил весь MLOps-пайплайн в 10 строк

Почему пользовать MLOps CI/CD компонентом круто В последнее время я часто работал с разными ML-проектами в GitLab. В каждом был свой .gitlab-ci.yml , своя обвязка вокруг MLFlow, своя регистрация и...

Хабр