Оркестрация рабочих процессов: полное руководство

Оркестрация рабочих процессов (workflow orchestration) — это практика координации множества автоматизированных задач, сервисов и систем для обеспечения их согласованного...

#DST #DSTGlobal #ДСТ #ДСТГлобал #Оркестрация #GitHub #Kubernetes #ApacheAirflow #AWSStepFunctions #Temporal #Camunda #CICD #DevOps #Автоматизация #AIагенты #RBAC #SOAR #Обработкаданных #ETL

Источник: https://dstglobal.ru/club/1242-orkestracija-rabochih-processov-polnoe-rukovodstvo

FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф

Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N начислений и M списаний для бонусов. Заодно покажу подвох, без которого SQL быстро превращался в тыкву. Статья будет полезна аналитикам и data-инженерам уровней мидл+, которые работают с финансовыми данными в Trino, Presto и Spark SQL.

https://habr.com/ru/companies/avito/articles/1043532/

#trino #sql #fifo #мсфо #аналитика_данных #data_quality #etl #финансы #управленческий_учет #бонусы

FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф

Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N начислений и M списаний для бонусов. Заодно покажу...

Хабр

Сквозная аналитика B2C на коленке: Google Sheets, Python и Claude Code за две недели

Сквозная аналитика для B2C: связать клик в рекламе с оплатой и посчитать ROMI. Ядро MVP (реклама + веб + биллинг в Google Sheets, дашборд в BI) собирается за две недели с Claude Code. А честные цифры - атрибуция, когорты, грабли API - занимают месяцы и требуют головы, не LLM.

https://habr.com/ru/articles/1047394/

#сквознаяаналитика #romi #атрибуция #claudecode #etl #googlesheets

Сквозная аналитика B2C на коленке: Google Sheets, Python и Claude Code за две недели

TL;DR Сквозная аналитика для B2C - это связать «клик в рекламе → заявку → оплату → выручку → ROMI». Звучит просто, ломается на стыках. Ядро MVP - три источника (реклама + веб-аналитика + биллинг),...

Хабр

just installed new qsv release

https://github.com/dathere/qsv/releases/tag/21.0.0

shout out to the developers, keep up the good work!

#qsv #data #csv #excel #analytics #olap #etl

Release 21.0.0 · dathere/qsv

[21.0.0] - 2026-06-08 🌐 The "F-AI-Rification" Release 📇 FAIR Data is AI-Ready Data. It is the perfect context for AI applications - as its compact, token-efficient and vastly improves an Agent's un...

GitHub
Power BI com IA: Curso Gratuito Ensina Análise de Dados, DAX e Inteligência Artificial - Guia de TI

Aprenda Power BI com IA gratuitamente e domine ETL, DAX, dashboards e análise de dados com Inteligência Artificial.

Guia de TI

Как Data Fabric и HTAP превращают сырые данные в бизнес-события для мгновенной аналитики

Долгое время главным критерием качества данных считалась их чистота и полнота. Компании инвестировали значительные ресурсы в MDM-системы и процессы проверки, стремясь получить «единую версию правды». Однако сегодня этого уже недостаточно. В условиях, когда скорость реакции определяет успех, на первый план выходит новый критерий — актуальность. Способность данных отражать реальное положение дел в момент принятия решения становится решающим фактором. При этом классические архитектуры, основанные на ночных загрузках в DWH, создают временной лаг, который превращает «правду» во «вчерашнюю». Привет, Хабр. Меня зовут Александр Шалудин. Я Presale-архитектор Data Services VK Tech. В этой статье я разберу, к чему может приводить работа с неактуальной информацией и как выстроить архитектуру, которая позволит устранить этот разрыв. Из-за высокой конкуренции и сопутствующих вызовов многие компании стремятся стать Data-Driven, то есть принимать решения, основываясь на данных, чтобы сохранять конкурентоспособность, быстро реагировать на тренды и взвешенно оценивать бизнес-процессы. Однако точность этих решений напрямую зависит не только от качества информации, но и от ее актуальности и доступности в нужный момент. Ключевая угроза здесь — задержка данных. Это не просто неудобство, а прямые скрытые расходы. Компания может иметь выстроенные процессы контроля качества и полные справочники, но, если ответ от аналитической системы нужен сегодня, а данные поступят только завтра или через неделю, их ценность для принятия оперативных решений стремится к нулю.

https://habr.com/ru/companies/vktech/articles/1044946/

#tarantool_column_store #htap #data_fabric #oltp #olap #realtime_analytics #tarantool #etl #mdm #vk_tech

Как Data Fabric и HTAP превращают сырые данные в бизнес-события для мгновенной аналитики

Долгое время главным критерием качества данных считалась их чистота и полнота. Компании инвестировали значительные ресурсы в MDM-системы и процессы проверки, стремясь получить «единую версию правды»....

Хабр

Have your Crystal coach create the complete data field inventory this week. Then write the transformation rules, build the new pipeline, and run the feedback loop after every batch. A sixty-two-person startup can stop losing a quarter of its revenue to corrupted patient data by applying the same thinking that built SpaceX and Tesla.

#FirstPrinciples #DataMigration #HealthcareTech #ETL #CrystalMethodology #PatientSafety #DataIntegrity #StartupLife #AgileDevelopment #HealthIT (17/17)

As a big fan of #Polars when doing #ETL pipelines, and processing #data, I am happy to see them having their distributed engine available for #Kubernetes deployments.

Read the blog post here:
https://pola.rs/posts/polars-distributed-available-on-kubernetes/

#datascience #python #rust

Launching Polars Distributed on Kubernetes

We are launching our distributed engine on Kubernetes (e.g. on-prem, AKS & GKE). Try it for free. It also ships with advanced query profiling and OpenLineage support.

Polars

#ApacheHop 2.18 has been released couple days ago 😃

#ETL

https://hop.apache.org/download/

Download

Download Apache Hop source and binary releases or Docker images for Hop and Hop Web.