🆕 新着Qiita記事をお知らせします。​

​『【Airflow入門】AirflowのJobを別の強いノードで処理させたい』
https://qiita.com/Suguru_Toyohara/items/e0f218a6159fa1a3b99f by @suguru_toyohara @​Qiita

#redis_qiita #celery_qiita #airflow_qiita

【Airflow入門】AirflowのJobを別の強いノードで処理させたい - Qiita

# はじめに Airflowはワークフローエンジンと呼ばれるもので、DAGと呼ばれる有向グラフで Jobスケジュールを管理します。 以下に基本構成を載せます。 ## 基本構成 ![基本構成](https://qiita-image...

🆕 新着Qiita記事をお知らせします。​

​『【Airflow入門】Airflowの基本的な構成について』
https://qiita.com/Suguru_Toyohara/items/134b7e1285a3b776eebc by @suguru_toyohara @​Qiita

#airflow_qiita

【Airflow入門】Airflowの基本的な構成について - Qiita

# はじめに 最近Kubeflowも盛り上がってますが、DevopsとかMLops関連でAirflowも注目度が上がってるように思います。 今回はAirflow入門記事を書くチャンスがあったので、ここに書こうと思います。 # Ai...

🆕 新着Qiita記事をお知らせします。​

​『【備忘録】airflowで"no module named 'postgresql'"と出てしまう問題』
https://qiita.com/Suguru_Toyohara/items/14c98fcbb2a95f92375b by @suguru_toyohara @​Qiita

#postgresql_qiita #airflow_qiita

【備忘録】airflowで"no module named 'postgresql'"と出てしまう問題 - Qiita

# タイトルの問題について いくつか解決策がありますが、まず確かめて欲しいのはこれをしているかどうかです。 ``` pip install psycopg2 ``` これがないと基本的にPostgreSQLは動きません。 で...

🆕 新着Qiita記事をお知らせします。​

​『【備忘録】Airflowでload_examplesをFalseにしてもExampleを出してきやがる問題について』
https://qiita.com/Suguru_Toyohara/items/d1d0795727b15ca499f1 by @suguru_toyohara @​Qiita

#airflow_qiita

【備忘録】Airflowでload_examplesをFalseにしてもExampleを出してきやがる問題について - Qiita

# airflow複雑すぎてわからない問題。 ただでさえconfig要素が多いのに、airflowで最初に直面するのがload_examplesをFalseにしても TutorialのDAGが消えてくれない問題があります。 結構鬱...

🆕 新着Qiita記事をお知らせします。​

​『AirflowのmetadataStoreDBをGCPのCloudSQLで使う話』
https://qiita.com/Suguru_Toyohara/items/2ee75a6540ceb7aa3a4d by @suguru_toyohara @​Qiita

#postgresql_qiita #gcp_qiita #airflow_qiita

AirflowのmetadataStoreDBをGCPのCloudSQLで使う話 - Qiita

# はじめに Airflowを使ってバッチ処理だったり、CI/CDとかって何かうまいことできないのかなと、 試行錯誤しているこの頃です。 可用性の高い構成を考えた時、一番安くて簡単なのがGCPのCloudSQLに任せてしまうという方...

🆕 新着Qiita記事をお知らせします。​

​『Airflowでredashのクエリ結果をGCSに送る』
https://qiita.com/senohirona/items/c75c772b7f2b8d11df6f by @senohirona @​Qiita

#メモ_qiita #gcs_qiita #redash_qiita #airflow_qiita

Airflowでredashのクエリ結果をGCSに送る - Qiita

あまりない場面かと思いますが、「こんな事があった」がてらに… Airflowでredashのクエリ結果を、APIを利用してGCSに送れるようにするために調査した個人メモ # やりたいこと - redashのクエリAPIを実行し、...

🆕 新着Qiita記事をお知らせします。​

​『AirflowでHTTPリクエスト送るシンプルなDAGのコードとはまったこと』
https://qiita.com/munaita_/items/e33334a5351bd5350dd6 by @munaita_ @​Qiita

#airflow_qiita

AirflowでHTTPリクエスト送るシンプルなDAGのコードとはまったこと - Qiita

# 背景 AirflowでHTTPリクエスト送るだけのシンプルなDAGを作りたい # コード 先に動くコードを出しておく。 肝は `HttpOperator` ではなく、 `PythonOperator` を使うところ。(詳しくは...

🆕 新着Qiita記事をお知らせします。​

​『Cloud Composer(Airflow)でAutoMLを使った推論パイプラインを組んでみた』
https://qiita.com/shuhoyo/items/af79cea73eb34eff0c09 by @shuhoyo @​Qiita

#gcp_qiita #airflow_qiita #automl_qiita #cloudcomposer_qiita

Cloud Composer(Airflow)でAutoMLを使った推論パイプラインを組んでみた - Qiita

## Overview. GCPのCloud ComposerでAirflow環境を立ち上げAutoMLOperatorを使ってBigQueryからテーブルデータを抽出して、予測するフローを組んでみました。 普通にやれば行けるかと思っ...

🆕 新着Qiita記事をお知らせします。​

​『Airflowのwebserverと、読み込みに時間がかかるDAGの話』
https://qiita.com/kurtosis/items/2892e99f496622933ce6 by @kurtosis @​Qiita

#python_qiita #gcp_qiita #airflow_qiita #cloudcomposer_qiita

Airflowのwebserverと、読み込みに時間がかかるDAGの話 - Qiita

クリスマスも近いので、Airflowのwebserverの話をしましょう。 # 言いたいこと * **読み込みに時間がかかる**DAGがあると * そのDAGが読み込めないかもよ * Airflowの管理画面にアクセス出来ないか...

🆕 新着Qiita記事をお知らせします。​

​『Cloud Composer(Airflow version1.10系)で Task Duration を開こうとすると TypeError: unsupported operand type(s) for +=: 'int' and 'NoneType'』
https://qiita.com/munaita_/items/f1a0b8a33c59d1c59437 by @munaita_ @​Qiita

#airflow_qiita #cloudcomposer_qiita

Cloud Composer(Airflow version1.10系)で Task Duration を開こうとすると TypeError: unsupported operand type(s) for +=: 'int' and 'NoneType' - Qiita

# 背景 - Airflowで DAG指定 -> Task Durationを開こうとすると以下のような画面になる - エラー内容は `TypeError: unsupported operand type(s) for +=:...