[HIRING] Data Scientist @ Center for Security and Emerging Technology (CSET)
💰 USD 80K-157K | Georgetown University: Main Campus: Walsh School of Foreign Service - 500 First St NW 7th Floor | Onsite/Hybrid

👉 https://aijobs.net/job/data-scientist-georgetown-university-main-campus-walsh-school-of-foreign-service-500-first-st-nw-7th-floor-115715/

#Hiring #Job #DataScientist #Scientist #Aws #Airflow #Annotation #Azure

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описание колонки — и через месяц никто не помнит, что означает wallet_cards_category_hits. В Почте Mail (VK) мы решили эту проблему системно, разработав внутренний фреймворк, который делает код витрины и ее документацию неразрывными. На связи Дима Швеенков. Я все так же руковожу направлением аналитики в команде и отвечаю за данные в Почте Mail , а теперь еще и отвечаю за DWH в VK Tech . В предыдущих статьях я подробно рассказывал о нашем Data Driven-подходе к работе с данными, а также, в частности, как мы работаем со Spark и какие ключевые проблемы с данными мы решили, чтобы построить свое хранилище данных. Сегодня хотел бы остановиться на более узкой теме — как держать в порядке документацию, если у вас такое же огромное хранилище, как и у нас. Материал короткий, но, надеюсь, будет для вас полезным.

https://habr.com/ru/companies/vktech/articles/1032686/

#big_data #apache_spark #airflow #clickhouse #sql #документация #dwh #metadata #dbt #vk_tech

Airflow TaskFlow API: внутреннее устройство современного способа писать DAG-и

Немного погрузимся во внутреннее устройство Apache Airflow и разберёмся, что на самом деле происходит за красивым синтаксисом TaskFlow API. Посмотрим, как работают декораторы @task и @dag , каким образом обычные Python-функции превращаются в задачи Airflow и за счёт какой «магии» строится граф зависимостей. А заодно напишем собственный мини-пример, чтобы лучше понять архитектурные идеи, на которых построен современный Airflow. Заглянем под капот Airflow TaskFlow API

https://habr.com/ru/articles/1033750/

#airflow #Framework #Python #DE

Heat Recovery Ventilator (HRV) — Operating Principle

A recuperator (heat recovery unit) transfers heat from exhaust air to incoming fresh air without mixing the two streams.

---

How It Works

Two airflows:

Exhaust air (warm, from indoors)

Supply air (cold, from outside)

They pass through a heat exchanger:

separated by plates or channels

no direct mixing

heat transfers through the material (conduction)

Result: → supply air is preheated
→ exhaust air is cooled
→ overall heat loss is reduced

---

Types of Recuperators

1. Plate Heat Exchanger

aluminum or plastic plates

efficiency: ~60–90%

no moving parts

2. Rotary (Wheel) Heat Exchanger

rotating drum

transfers heat and some moisture

efficiency: up to ~85–90%

3. Counterflow Heat Exchanger

air streams move in opposite directions

highest efficiency: up to ~95%

---

What Is Transferred

heat (primary)

sometimes moisture (in enthalpy units)

---

Efficiency Example

outside: 0°C

indoor: +22°C

after recovery: ~16–20°C

---

Advantages

reduced heating energy demand

continuous ventilation without major heat loss

improved indoor air quality

---

Limitations

frost formation in winter (needs bypass or preheater)

filter maintenance required

upfront cost

---

Core Idea

A recuperator doesn’t generate heat — it recovers and reuses it.

#HVAC #HeatRecovery #HRV #ERV #EnergyEfficiency #Ventilation #IndoorAirQuality #AirExchange #HeatExchanger #SustainableLiving #GreenBuilding #EnergySaving #HomeComfort #SmartHome #BuildingEngineering #ClimateControl #EcoTech #Airflow #FreshAir #LowEnergy #PassiveHouse #NetZero #HomeImprovement #Engineering #CleanAir

Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных

Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает.

https://habr.com/ru/companies/X5Tech/articles/1026382/

#большие_данные #big_data #lakehouseплатформа_данных #data_pipelines #airflow #yaml #gitlab_cicd #микросервисная_архитектура #оркестрация #ddl

🖥️ Donne du style et de la puissance à ton setup !

Découvre notre sélection de boîtiers PC gaming 🔥
RGB, airflow optimisé, design futuriste… tout pour sublimer ta config 💡

⚡ Que tu sois gamer ou créateur, trouve le boîtier parfait pour ton build !

👉 Explore maintenant la catégorie et upgrade ton setup !

https://inmedia.ma/product-category/accessoires-composants/boitiers-pc/

#pcgaming, #boitierpc, #setupgaming, #rgb, #gamingsetup, #pcbuilder, #airflow, #gaminggear

Big Data больше не для гигантов: связка Airflow + ClickHouse вытеснила Airflow + PostgreSQL

Открываю ноутбук. Захожу в метрики своего интернет-магазина. 500 тысяч посетителей в день. Каждый клик — событие. Каждый просмотр товара — строка в логах. Каждое добавление в корзину — ещё одна строка. За месяц — 15 миллионов событий. За год — почти 200 миллионов. Это не Google. Не Amazon. Это обычный средний магазин на ~100 человек. А теперь умножьте это на количество таблиц: пользователи, заказы, платежи, доставки, отзывы, просмотры, лайки, рефералы, купоны, возвраты... Поздравляю. Вы уже работаете с Big Data. В 2026 году это уже не привилегия корпораций, а стандарт ведения цифрового бизнеса. И как следствие этой "гонки вооружений" произошла тектоническая смена ориентиров. Классическая связка Airflow + PostgreSQL, которая ещё вчера считалась золотым стандартом, сегодня стремительно сдает позиции. Её место уверенно занимает дуэт Airflow + ClickHouse — технологический фундамент современной инженерии данных.

https://habr.com/ru/articles/1022460/

#clickhouse #postgresql #data_engineer #dwh #airflow #big_data #аналитика #рынок_труда #sql #python

I'm #hiring for someone to build and maintain transportation data pipelines and the infrastructure they depend on. We use #Airflow & #Python in #AWS and Red Hat Enterprise Linux (#RHEL) environments to Extract, Validate, Load & Transform our data in a #PostgreSQL database. Join the #DataOperations team of 6 within the broader Transportation Services Data & Analytics Unit. Deadline to apply to this hybrid position is April 27th.

Just a note to consider this even if you do not meet 100% of the criteria in the job description as it is broad. If the job and mission here excites you and lines up with your background in data and/or transportation, lets talk. I strongly encourage First Nations people, Black people, people of colour, 2SLGBTQ+ individuals, people with disabilities, members of ethnic minorities, women and newcomers to Canada to apply.

Boosts welcome!

https://jobs.toronto.ca/job-invite/63132/

Is the airflow going to be anything good here?

#fans #airflow #engineering #onlyfans #fluiddynamics #air #hvac