Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ. Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали! О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье . Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

https://habr.com/ru/articles/989590/

#kafka #rabbitmq #messagebroker #highload #highload++ #high_performance #архитектура #высоконагруженные_системы

🐰 RabbitMQ es el broker de mensajería líder para sistemas distribuidos. Aprende su arquitectura, instalación y cuándo elegirlo sobre Kafka. ¡Potencia tus proyectos! 🚀

Lee más 👉 https://www.soloingenieria.org/ingenieria-en-sistemas/rabbitmq/

#RabbitMQ #MessageBroker #Microservicios #SistemasDistribuidos #DesarrolloDeSoftware #AMQP #Programación

En sistemas distribuidos, perder un mensaje puede significar perder dinero. RabbitMQ garantiza que cada mensaje llegue a su destino, sin importar las circunstancias. 📨

#RabbitMQ #MessageBroker #Microservicios #SistemasDistribuidos #DesarrolloDeSoftware #AMQP #Programación

ОС против Kafka: битва за map-области: история одного неочевидного лимита

Добрый день! Меня зовут Богдан, я тимлид в одном из отечественных финтехов. Сегодня я хочу поделиться нашей историей: как нам удалось, ненарочно, зашедулить падение всех нод одного из наших кластеров Kafka. В один из холодных февральских дней пришло сообщение от мониторинга с виртуальных машин кластера Kafka: «Свободное дисковое пространство достигло значения < 15%» . Было решено исследовать, нужно ли добавлять дискового пространства или же можно потюнить настройки ретеншена данных. Тут стоит немного вспомнить теорию. Как известно, в Kafka сообщения распределяются по партициям, а каждая партиция на брокере представлена набором сегментов. Число сегментов у партиций может быть разным — оно варьируется в зависимости от интенсивности записи и настроек размера сегмента. Сегмент (если упростить) — это лог-файл, в который просто пишутся данные в конец. По достижении временного предела либо его размера он ротируется: создается новый сегмент, и запись идет уже в него. Держа вышесказанное в голове, мы отправились смотреть настройки хранения сегментов в нашем кластере Kafka..

https://habr.com/ru/articles/900094/

#kafka #apache_kafka #messagebroker

Beyond Trends: A Practical Guide to Choosing the Right #MessageBroker

https://www.infoq.com/articles/choosing-message-broker/

#Kafka #SQS

Брокер сообщений на Rust

Всем привет. Написал бессерверный брокер сообщений, кому интересно прошу под кат.

https://habr.com/ru/articles/887232/

#messagebroker #serverless #брокер_сообщений

Поднимаем потоковый сервис Kafka на Python

Всем привет, меня зовут Евгений Мунин. Я Senior ML Engineer в Ad Tech в платформе ставок для рекламы. В этой статье мы познакомимся с Apache Kafka. Мы напишем демо пример Kafka Consumer'а на Python и запустим его в облачном сервисе Confluent Cloud.

https://habr.com/ru/articles/880700/

#kafka #очередь_сообщений #брокеры_сообщений #python #messagebroker

Very good introduction on how to instrument Open Telemetry Context propagation over Message Broker systems:

https://tracetest.io/blog/opentelemetry-trace-context-propagation-with-message-brokers-and-go

#OpenTelemetry #Golang #MessageBroker

Is there a good hashtag to follow re Kafka, the message broker?

The obvious #kafka is mostly around literature and the late Franz Kafka.

#rabbitmq #messagebroker #messaging

Our recording of yesterday's RabbitMQ event has just been published. Thanks everyone for the great discussions during the Q&A!

https://www.youtube.com/watch?v=vJIEykMVbc8

Shoutout to #vmware
and #VMwareTanzu
for all your support!

#cncf #cncv #cloudnative #messagebroker