Cloud Composer で Storage Transfer Service の動的設定更新ワークフローを構築する
https://dev.classmethod.jp/articles/cloud-composer-storage-transfer-service-dynamic-config-update/
#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Storage_Transfer_Service #Apache_Airflow
Основы ETL на примере работы с Superset, Airflow и ClickHouse
В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В качестве платформы я взял готовую конфигурацию от Beget, включающую Superset и Airflow из коробки — это позволяет сосредоточиться на логике обработки данных, а не на настройке окружения. В качестве примера мы подготовим процесс выгрузки и визуализации данных о товарах с сайта Wildberries. Для извлечения данных мы будем использовать Python-библиотеки selenium и BeautifulSoup — они хорошо подходят для парсинга веб-страниц. Дополнительно применим re для обработки текстовой информации с помощью регулярных выражений.
https://habr.com/ru/companies/beget/articles/928712/
#etl #apache_airflow #apache_superset #clickhouse #dag #обработка_данных #biинструменты #анализ_данных #beget
Интеграция с ClickHouse: NiFi vs Airflow
На связи Никита Скирдин, программист 1С компании «Белый код». В прошлой статье мы уже говорили о загрузке данных для системы BI-аналитики. В этой же статье разберем решение задачи с использованием Apache NiFi — системы для автоматизации потоков данных. Хотя NiFi позиционируется как ETL-инструмент (extract transform load), позволяющий внутри себя осуществить необходимые преобразования над поступающими данными, ничто не мешает нам использовать его также для ELT-процесса (extract load transform).
Cloud Composer でカスタムセンサーを実装して Storage Transfer Service のオペレーション完了を待機する
https://dev.classmethod.jp/articles/cloud-composer-custom-sensor-storage-transfer-service/
#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Storage_Transfer_Service #Apache_Airflow
Долгожданный релиз Airflow 3.0.0
Привет, Хабр! Я Георгий Новожилов, инженер данных в «ДАР» (ГК «КОРУС Консалтинг»). В моём стеке и стеке моих коллег Airflow, можно сказать, незаменим. Он помогает нам планировать, запускать и отслеживать сотни задач обработки данных, которые крутятся в кластере каждый день. 22 апреля 2025 года компания Apache выпустила новую версию своего оркестратора, которая была в разработке последние 4 года. Среди ключевых изменений — новый интерфейс, обновлённая и защищённая архитектура, а также стабильный интерфейс разработки. В этой статье предлагаю рассмотреть, какие ещё нововведения нам привезли в масштабном обновлении Apache Airflow 3.0.0.
https://habr.com/ru/articles/913464/
#airflow #apache_airflow #релиз #pipeline #оркестратор #airflow_3
Планировщики процессов — другие open source решения
Такие workflow-оркестраторы, как Metaflow или Apache Airflow, на слуху. Однако в их тени существуют не менее интересные решения — например, StepWise, Dagu, Windmill, Flyte и µTask. Они предоставляют интересные возможности для автоматизации, ускорения и упрощения настройки сложных workflow, и часто обладают более современной архитектурой, меньшим порогом входа или ярко выраженной специализацией для типовых задач. Сегодня познакомимся подробнее с инструментами, которые расширят ваш арсенал и помогут создавать более надёжные и экономичные системы.
https://habr.com/ru/companies/mws/articles/909790/
#metaflow #apache_airflow #StepWise #Dagu #Windmill #Flyte #workflow #работа_с_данными
Работа с библиотеками, которые не установлены в Airflow
Данные библиотеки можно использовать при работе со SparkOperator: 1. Создание виртуального окружения с необходимыми библиотеками 2. Создание задачи в даге и установка окружения в SparkSubmit
https://habr.com/ru/articles/889394/
#apache_airflow #bigdata #python #виртуальное_окружение #практики_программирования #dags #bash #etl
Cloud Composer で DAG 解析時間アラートを設定してみた
https://dev.classmethod.jp/articles/cloud-composer-dag-parse-times-alerts/
#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Cloud_Monitoring #Apache_Airflow
Рынок труда ML-специалистов в 2025 году: востребованные навыки и карьерные треки
В одном из недавних интервью Марк Цукерберг заявил , что к 2025 году искусственный интеллект (ИИ) сможет выполнять большинство задач Middle-разработчиков в Meta (запрещенная в РФ организация). По словам Цукерберга, ИИ уже помогает писать код и постепенно забирает на себя простые инженерные задачи, но хорошие Middle-инженеры все еще будут нужны. Правда при условии, что они будут осваивать новые востребованные технологии. С учетом влияния компании на технологическую повестку во всем мире заявление звучит серьезно: крупные игроки индустрии уже сейчас диктуют направление, в котором будет развиваться рынок труда в связи с масштабированием ИИ — это автоматизация большей части функций и появление новых. В таких условиях многим специалистам придется адаптироваться и прокачивать навыки, чтобы оставаться востребованными на рынке.
https://habr.com/ru/articles/882040/
#машинное_обучение #mlинженер #ai_talent_hub #mlops #разработка_вебсервисов #рынок_труда_it #pytorch #scikitlearn #apache_airflow #postgresql
Cloud Composer で Airflow タスクの SLA を設定してみた
https://dev.classmethod.jp/articles/cloud-composer-airflow-task-sla/
#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Apache_Airflow
DevelopersIO
Habr
