Processing the stream of Wikipedia edits has been a #Flink demo I've come back to many times over the last couple years. It's a fun, easy-to-explain use case for Flink SQL with freely available real data

I needed to give this demo again for the recent Hursley Summit event, so took the chance to grab a few recordings

https://dalelane.co.uk/blog/?p=5304

Современный дата-стек: потоковая система из «LEGO»

Вы слышали о Kafka , MQTT , S3 , Iceberg , Trino , PostgreSQL , Redis и Flink ? А насколько хорошо вы знаете эти технологии? По каждой из них написаны огромные книги («Kafka: The Definitive Guide», около 800 страниц), и каждый день выходят новые публикации про тонкости. Эта статья про другое. Вместо внутренностей движков и законов распределённых систем посмотрим на эти технологии как на кубики LEGO: какую роль каждая из них играет в архитектуре и как они стыкуются друг с другом. Это будет практический туториал: начнём с минимальной конфигурации и постепенно соберём сложную систему. Статью можно просто читать как обзор архитектуры, а можно запускать каждую конфигурацию и изучать её в деталях. Для этого достаточно Git , Git LFS и Docker Compose . Всё запускается в контейнерах. Даже примеры на Java собираются через Docker multi-stage build .

https://habr.com/ru/articles/1022970/

#Kafka #Flink #Redis #Iceberg #Java #Docker #dockercompse

A few weeks ago, I needed to explain why it's difficult to say the number of CPU cores needed for #Flink to process 100k #Kafka events/sec (in the absence of any info about the data, the environment, the nature of the processing, etc.)

Two dozen graphs and one Doctor Who meme later, that turned into a blog post 😀

https://dalelane.co.uk/blog/?p=6001

Volga: движок обработки real-time данных для AI/ML — аналог Spark и Flink на Rust (Arrow + DataFusion)

Volga — open-source движок обработки данных, созданный как альтернатива Apache Spark и Apache Flink и ориентированный на требования real-time AI/ML систем: консистентное вычисление фичей между online и offline режимами, point-in-time корректные агрегации, длинные скользящие окна, а также ML-ориентированные функции, такие как top- и категориальные агрегации. В статье рассматриваются мотивация и история разработки, архитектура системы и её ключевые компоненты, а также проводится сравнение с ML-ориентированными решениями (Chronon, OpenMLDB) и универсальными стриминговыми движками (Apache Flink, Apache Spark, Arroyo).

https://habr.com/ru/articles/1021290/

#rust #spark #flink #ai #ml #mlops #kubernetes #sql #python #streaming

Stop answering today’s questions with yesterday’s data! 📰

Join Sandon Jacobs at #ArcOfAI to learn a streams-first approach for low-latency RAG using Kafka & Flink, ensuring your AI always has fresh context.

https://www.arcofai.com/speaker/520a73e3ba72494192f204d90ab8b7a9

🎟️ https://arcofai.com

#AI #Kafka #Flink #RAG #MachineLearning #AIEngineering

I've written up some #Flink thoughts : event-stream processing project don't have to be accessible SQL *or* powerful Java. UDFs let you work in SQL, and write Java to extend what SQL can do when you need.

I've come up with six examples of when it helps to extend Flink SQL with Java functions.

https://dalelane.co.uk/blog/?p=5920

I presented at our annual online #IBMTechCon event yesterday about Deploying an Apache #Flink job into production.

I gave a walk-through of what is involved taking an event processing flow, and deploying it into Kubernetes.

I tried to fit a lot in the hour!

https://dalelane.co.uk/blog/?p=5906

creating #Kafka and #Flink demos for TechCon 2026 - our virtual event later this month

TechCon is about live and in-depth technical sessions on integration, automation, messaging, and event driven architectures - we can't get away with just slides! ;-)

https://www.ibm.com/events/reg/flow/ibm/l2ma0vmb/landing/page/landing

#Flink has largely replaced #Kafka Streams for me.

I do miss Streams... maybe I'm getting old and prone to nostalgia, or maybe I'm sad to move on because of the amount of time I spent learning Streams' quirks!

This is a better intro to how they compare than my gut gives :)

https://xebia.com/blog/making-right-choice-flink-or-kafka-streams/