Have your Crystal coach create the complete data field inventory this week. Then write the transformation rules, build the new pipeline, and run the feedback loop after every batch. A sixty-two-person startup can stop losing a quarter of its revenue to corrupted patient data by applying the same thinking that built SpaceX and Tesla.

#FirstPrinciples #DataMigration #HealthcareTech #ETL #CrystalMethodology #PatientSafety #DataIntegrity #StartupLife #AgileDevelopment #HealthIT (17/17)

As a big fan of #Polars when doing #ETL pipelines, and processing #data, I am happy to see them having their distributed engine available for #Kubernetes deployments.

Read the blog post here:
https://pola.rs/posts/polars-distributed-available-on-kubernetes/

#datascience #python #rust

Launching Polars Distributed on Kubernetes

We are launching our distributed engine on Kubernetes (e.g. on-prem, AKS & GKE). Try it for free. It also ships with advanced query profiling and OpenLineage support.

Polars

#ApacheHop 2.18 has been released couple days ago 😃

#ETL

https://hop.apache.org/download/

Download

Download Apache Hop source and binary releases or Docker images for Hop and Hop Web.

TROCCOの転送先カスタムコネクタを利用して、Zendeskのチケットにフォロワーを自動追加する
https://qiita.com/kimura34/items/29ad3abf97c8fc182493?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #API #zendesk #ETL #カスタムコネクタ #trocco

TROCCOの転送先カスタムコネクタを利用して、Zendeskのチケットにフォロワーを自動追加する - Qiita

はじめに TROCCOには、標準で提供していないサービスへのデータ転送を実現する転送先カスタムコネクタという機能があります。対象サービスがREST APIを提供していれば、カスタムコネクタを使ってTROCCOからデータを転送できる可能性があります(TROCCOのカスタムコ...

Qiita
AI vs. FME / geospatial tools?: Safe Software and the #FME community discusses whether #AI #agents are replacing tools like #FME for geospatial #ETL work. The community thread and blog post are worth reading for what they imply about the future of #low-code geospatial tools more...
https://spatialists.ch/posts/2026/05/28-ai-vs-fme-geospatial-tools/ #GIS #GISchat #geospatial #SwissGIS
AI vs. FME / geospatial tools? – Spatialists – geospatial news

Safe Software and the #FME community discusses whether #AI #agents are replacing tools like #FME for geospatial #ETL work. The community thread and blog post are worth reading for what they imply about the future of #low-code geospatial tools more broadly.

Spatialists – geospatial news

Как за один вечер я написал сервис инвентаризации оргтехники для филиальной сети из 16 локаций

Знакомая работает в IT-департаменте организации с 16 филиалами и ~5000 единиц оргтехники на балансе. Попросила: “Сделай сервис, чтобы загрузить фотку шильдика, и он сказал, у кого эта железка стоит”. Звучит просто. На практике это вылилось в production-сервис с распознаванием по фото через Claude vision, ETL из бухгалтерских .xls (привет, xlrd 1.2), нормализацией грязных инвентарных номеров и автопушем в Google Sheets. Рассказываю про все грабли — от deadlock pandas vs xlrd до бага, который считал две разные железки одной

https://habr.com/ru/articles/1039940/

#Python #FastAPI #SQLite #ETL #pandas #инвентаризация #Claude_vision #OpenRouter #SQLAlchemy

Как за один вечер я написал сервис инвентаризации оргтехники для филиальной сети из 16 локаций

История о том, как просьба «глянь, что у меня тут с табличками» превратилась в production-сервис с распознаванием по фото, защищённой авторизацией админкой и автопушем в Google Sheets. Со всеми...

Хабр

Как мы построили сквозную аналитику в Power BI

Всем привет! Меня зовут Никита и я CEO компании VSL-BI. Мы занимаемся внедрением BI-аналитики. К нам обратилась компания из сферы продажи стройматериалов. Они активно работали с рекламой в Яндекс Директ и Google Ads (клиент вел деятельность в Казахстане), следили за аналитикой сайта в Яндекс Метрике, в качестве CRM использовали Битрикс24.

https://habr.com/ru/articles/1038944/

#сквозная_аналитика #Power_BI #BIаналитика #Яндекс_Директ #Google_Ads #Яндекс_Метрика #Битрикс24 #ETL #Data_Engineering #бизнесаналитика

Как мы построили сквозную аналитику в Power BI

Всем привет! Меня зовут Никита и я CEO компании VSL-BI. Мы занимаемся внедрением BI-аналитики. К нам обратилась компания из сферы продажи стройматериалов. Они активно работали с рекламой в Яндекс...

Хабр

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Привет, на связи Василий Самарин, ведущий инженер данных в Х5 Tech. Это моя вторая статья по теме построения SCD-2-таблиц. Если вы еще не знакомы с SCD-2-таблицами, то рекомендую заглянуть в мою...

Хабр
Santander Excel com IA e Claude: 10 Mil Bolsas Gratuitas Para Aprender Excel, Copilot e IA na Prática - Guia de TI

Santander Excel com IA e Claude oferece 10 mil bolsas gratuitas com certificado, mentorias e projetos reais.

Guia de TI