New in Geodata Ramblings blog: Part 2 of posts about using Wyvern's hyperspectral imagery Open Data Program, for Harmful Algal Bloom (HAB) detection. Let's port the pipeline to the Dagster data orchestrator package!
https://ricegeo.dev/hab-detection-wyvern-hsi-dagster/
#hyperspectral #earthobservation #geospatialdata #remotesensing
#betterearth #python #dagster
ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)
К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на проект аналитической инфраструктуры у компании почти не было, только множество учетных систем без централизованного хранилища данных. Объем проекта был непонятен, «аппетит приходит во время еды». Важная особенность проекта — полностью закрытый контур с доступом через терминальные решения. Было решение выбрать архитектуру Data Lakehouse на open source стеке, основой которого стали — kafka, dagster, s3+iceberg, trino, clickhouse и DBT. В результате получилось более 1000 моделей DBT, 1 тб сжатых данных, и объем продолжает расти. Из потребителей данных — бизнес системы, Power BI отчеты, аналитики и дата‑инженеры, веб‑приложения, MDX‑кубы. Методология ведения проекта Scrum, команда DWH‑инженеров 11 человек и greenfield‑разработка.
https://habr.com/ru/articles/931282/
#dbt #ymlфайл #datalakehouse #data_engineering #etlпроцессы #open_source #trino #clickhouse #dagster
К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на...
Dagsterとdbt CoreをECS on Fargateで構築する
https://dev.classmethod.jp/articles/dagster-dbt-core-ecs-sample/
#dev_classmethod #dagster #dbt #dbt_Core #Amazon_ECS #ECS_on_Fargate
DagsterとdbtをDockerコンテナ上に構築する
https://dev.classmethod.jp/articles/dagster-dbt-docker-setup/
Dagster: новый стандарт для ETL в 2025?
Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:
https://habr.com/ru/articles/883700/
#dagster #etl #data_pipelines #оркестрация #data_engineering #mlops #python #dataops_engineer #big_data #big_data_analytics
HIRING: Senior Data Scientist / Remote (anywhere in the U.S.)
💰 USD 120K+
#ComputerScience #Dagster #Datapipelines #Datavisualization #dbt #Economics #Engineering #Git #MachineLearning #Mathematics
murmuration is hiring for Full Time Senior Data Scientist - Remote (anywhere in the U.S.), a senior-level AI/ML/Data Science role offering benefits such as career development, equity / stock options, flex hours, flex vacation, gear, health care, home office stipend, insurance, parental leave, team events, unlimited paid time off, wellness.
HIRING: Data Engineer / Remote (anywhere in the U.S.)
💰 USD 100K+
#Airflow #AWS #CICD #ComputerScience #Dagster #Datapipelines #dbt #Docker #ELT #Engineering
murmuration is hiring for Full Time Data Engineer - Remote (anywhere in the U.S.), a mid-level AI/ML/Data Science role offering benefits such as career development, equity / stock options, flex hours, flex vacation, gear, health care, home office stipend, insurance, parental leave, team events, unlimited paid time off, wellness.
I really like working with @dagster , I use it for $work but personally too. Once you reach a certain amount of assets you need a way to distinguish them from each other.
I created an example with some screenshots to highlight the different options. And also show how you can test for those #Dagster style things. https://github.com/RMHogervorst/dagster_labeling_testing_example
HIRING: Senior Data Scientist / Remote (anywhere in the U.S.)
💰 USD 120K+
#ComputerScience #Dagster #Datapipelines #Datavisualization #dbt #Economics #Engineering #Git #MachineLearning #Mathematics
murmuration is hiring for Full Time Senior Data Scientist - Remote (anywhere in the U.S.), a senior-level AI/ML/Data Science role offering benefits such as career development, equity / stock options, flex hours, flex vacation, gear, health care, home office stipend, insurance, parental leave, team events, unlimited paid time off, wellness.
HIRING: Data Engineer / Remote (anywhere in the U.S.)
💰 USD 100K+
#Airflow #AWS #CICD #ComputerScience #Dagster #Datapipelines #dbt #Docker #ELT #Engineering
murmuration is hiring for Full Time Data Engineer - Remote (anywhere in the U.S.), a mid-level AI/ML/Data Science role offering benefits such as career development, equity / stock options, flex hours, flex vacation, gear, health care, home office stipend, insurance, parental leave, team events, unlimited paid time off, wellness.
Alex G Rice
Habr
DevelopersIO
aijobs.net => foorilla.com
Roel