Airflow TaskFlow API: внутреннее устройство современного способа писать DAG-и

Немного погрузимся во внутреннее устройство Apache Airflow и разберёмся, что на самом деле происходит за красивым синтаксисом TaskFlow API. Посмотрим, как работают декораторы @task и @dag , каким образом обычные Python-функции превращаются в задачи Airflow и за счёт какой «магии» строится граф зависимостей. А заодно напишем собственный мини-пример, чтобы лучше понять архитектурные идеи, на которых построен современный Airflow. Заглянем под капот Airflow TaskFlow API

https://habr.com/ru/articles/1033750/

#airflow #Framework #Python #DE

Airflow TaskFlow API: внутреннее устройство современного способа писать DAG-и

Apache Airflow долгое время ассоциировался с таким стилем описания workflow: # объявляем задачи-таски task1 = PythonOperator(...) task2 = BashOperator(...) # проставляем зависимости между ними task1...

Хабр