I presented at our annual online #IBMTechCon event yesterday about Deploying an Apache #Flink job into production.

I gave a walk-through of what is involved taking an event processing flow, and deploying it into Kubernetes.

I tried to fit a lot in the hour!

https://dalelane.co.uk/blog/?p=5906

creating #Kafka and #Flink demos for TechCon 2026 - our virtual event later this month

TechCon is about live and in-depth technical sessions on integration, automation, messaging, and event driven architectures - we can't get away with just slides! ;-)

https://www.ibm.com/events/reg/flow/ibm/l2ma0vmb/landing/page/landing

#Flink has largely replaced #Kafka Streams for me.

I do miss Streams... maybe I'm getting old and prone to nostalgia, or maybe I'm sad to move on because of the amount of time I spent learning Streams' quirks!

This is a better intro to how they compare than my gut gives :)

https://xebia.com/blog/making-right-choice-flink-or-kafka-streams/

🚀 Big Data meets AI—powered by Iceberg, Spark & LLMs

At #ArcOfAI, Pratik Patel shows how to build a real architecture that lets users query massive datasets with natural language—no dashboards, no SQL, just questions & insights.

https://www.arcofai.com/speaker/1c241471d7f04018a0da70efffd35b32

🎟️ Get tickets: https://arcofai.com

#ArtificialIntelligence #BigData #DataArchitecture #ApacheSpark #ApacheIceberg #LLM #GenAI #EventStreaming #Kafka #Flink #AIEngineering #TechLeadership

Open Table Formats — Iceberg vs Paimon — практика использования

Привет, Хабр. Меня зовут Василий Мельник, я product owner решения для потоковой обработки данных Data Ocean SDI в компании Data Sapience. Наша команда приобрела большой практический опыт работы с Apache Iceberg в задачах на стыке традиционной пакетной обработки и near real-time и конкретно с использованием технологий на базе Flink, поэтому мы не могли пройти мимо нового открытого табличного формата (OTF) Paimon от разработчиков Apache Flink. В этой статье я опишу наш опыт и те практические выводы, которые мы сделали на промышленных средах, в виде репрезентативного тестирования, на котором проиллюстрирую ключевые практические сценарии.

https://habr.com/ru/companies/datasapience/articles/988308/

#iceberg #Paimon #Open_Table_Format #тесты_производительности #flink #spark

I've started using (generated) click tracking events as a data source when introducing #FlinkSQL - it's simple, yet still rich enough to let me explain a variety of nice #Flink features.

I've written up a few examples at https://dalelane.co.uk/blog/?p=5806

Bij #TacoMundo besteld en nu aan het duimen dat ze ook langskomen. #Flink liet me laatst eerst voor mijn boodschappen betalen om daarna toch maar de bestelling te annuleren. #AlbertHeijn en #Picnic leveren pas met Sint Juttemis.

Zou Taco Mundo ook in de categorie "noodpakket" vallen?

#sneeuw

𝗙𝗹𝗶𝘁𝘀𝗯𝗲𝘇𝗼𝗿𝗴𝗲𝗿 𝗙𝗹𝗶𝗻𝗸 𝘀𝗹𝘂𝗶𝘁 𝗹𝗼𝗰𝗮𝘁𝗶𝗲𝘀 𝗱𝗼𝗼𝗿 𝘀𝗻𝗲𝗲𝘂𝘄, 𝗹𝗮𝗻𝗴𝗲𝗿𝗲 𝘄𝗮𝗰𝗵𝘁𝘁𝗶𝗷𝗱𝗲𝗻 𝗯𝗶𝗷 𝗧𝗵𝘂𝗶𝘀𝗯𝗲𝘇𝗼𝗿𝗴𝗱

Wie in deze omstandigheden eten of boodschappen wil laten bezorgen omdat 'ie zelf de deur niet uit durft, moet geduld hebben. Door het winterse weer kampen bezorgdiensten zoals Thuisbezorgd en Flink met vertragingen. In sommige regio's zijn locaties...

https://www.rtl.nl/nieuws/binnenland/artikel/5551528/sneeuw-legt-bezorgdiensten-deels-plat-langere-wachttijden-en

#Flink #sneeuw #wachttijden

Flink Stateful Functions https://nightlies.apache.org/flink/flink-statefun-docs-stable/ hasn't had an update in several years and is still compiled against an old version of Apache Flink.

I spent some time during the holidays uplifting it to Flink 2.2.0 https://github.com/fransking/flink-statefun/commit/25b2dfcc3feafd701eb2fec32d413fab56e1cfe6

Notionally it appears to be working as expected.

#flink #flinkStatefun #apacheFlink

Flink Kubernetes operator: опыт построения стриминговой Big Data платформы

Всем привет! Меня зовут Артемий, я работаю SRE-инженером в команде RTP (real time processing) Clickstream в Авито . Сегодня мы хотим поделиться нашей историей о том, как мы переехали в Kubernetes, развернув Apache Flink с помощью Flink k8s operator.

https://habr.com/ru/companies/avito/articles/972412/

#data #dwh #DataOps #bigdata #flink #sql #realtime #analytics #analytical_engine