AWS上にデプロイしたMetaflowで機械学習を行うための設定方法 - Qiita

背景 最近、機械学習パイプラインツールとしてMetaflowを使っています。 以前はローカルでMetaflowのサーバを立てて試していたのですが、クラウドでの実験を試したいと思い、MetaflowをAWS上にデプロイして試していました。 このとき、Pythonで作ったパイ...

Qiita
AWS Batch版のMetaflowのデプロイを安価に試したい際に特に注意したい点 - Qiita

背景 最近クラウド上で機械学習のパイプラインを実行するツールを調べていてMetaflowを試していました。 MetaflowをAWSなどクラウドへデプロイすることで、クラウド上でパイプラインの実行ができます。 Metaflowではデプロイ用のコードがいくつか配布されており...

Qiita
🎢 Ah, another tech love letter to your GitHub overlords, where #Netflix pretends their "Metaflow" isn't just another rehash of buzzwords to make AI/ML sound like rocket science. 🚀 Meanwhile, mere mortals are left to wonder if "managing prompts" and "fixing vulnerabilities" involves anything more than turning it off and on again. 🤪
https://github.com/Netflix/metaflow #techbuzzwords #Metaflow #AI #ML #prompts #vulnerabilities #HackerNews #ngated
GitHub - Netflix/metaflow: Build, Manage and Deploy AI/ML Systems

Build, Manage and Deploy AI/ML Systems. Contribute to Netflix/metaflow development by creating an account on GitHub.

GitHub
GitHub - Netflix/metaflow: Build, Manage and Deploy AI/ML Systems

Build, Manage and Deploy AI/ML Systems. Contribute to Netflix/metaflow development by creating an account on GitHub.

GitHub

Планировщики процессов — другие open source решения

Такие workflow-оркестраторы, как Metaflow или Apache Airflow, на слуху. Однако в их тени существуют не менее интересные решения — например, StepWise, Dagu, Windmill, Flyte и µTask. Они предоставляют интересные возможности для автоматизации, ускорения и упрощения настройки сложных workflow, и часто обладают более современной архитектурой, меньшим порогом входа или ярко выраженной специализацией для типовых задач. Сегодня познакомимся подробнее с инструментами, которые расширят ваш арсенал и помогут создавать более надёжные и экономичные системы.

https://habr.com/ru/companies/mws/articles/909790/

#metaflow #apache_airflow #StepWise #Dagu #Windmill #Flyte #workflow #работа_с_данными

Планировщики процессов — другие open source решения

Такие workflow-оркестраторы, как Metaflow или Apache Airflow, на слуху. Однако в их тени существуют не менее интересные решения — например, StepWise, Dagu, Windmill, Flyte и µTask. Они предоставляют...

Хабр
Ever wondered how much CPU, memory, GPU, disk, or network traffic your #metaflow steps use and how to optimize resource allocation? The open-source resource-tracker Python package does that (and more) with seamless Metaflow integration! Read more at https://sparecores.com/article/metaflow-resource-tracker 🚀
Optimizing Resource Usage of Batch Jobs

Seamlessly track the resource usage of e.g. Metaflow steps and find the best value servers for any workload!

sparecores.com

Excited to share that I'll speak at KubeCon North America 2023 with Savin Goyal! See you there!

Beyond Prototypes: Production-Ready ML Systems with Metaflow and Argo Project

@CloudNativeFdn @argoproj #KubeCon #CloudNative #MachineLearning #MLOps #kubernetes #metaflow

https://sched.co/1R2u4

KubeCon + CloudNative North America 2023: Beyond Prototypes: Production-Ready ML S...

View more about this event at KubeCon + CloudNative North America 2023