Message Brokers Are Modern Grids(2020)

이 글은 메시지 브로커가 단일 팀에서 사용될 때와 여러 팀이 공유 인프라로 사용할 때의 차이점을 설명한다. RabbitMQ와 Kafka 같은 메시지 브로커는 초기에는 시스템을 간결하게 만들지만, 공유 인프라가 되면 다양한 부하와 사용 패턴으로 인해 복잡한 문제들이 발생한다. 특히 Kafka의 파티셔닝 결정, 재생(replay) 기능, 그리고 부하 변화에 따른 성능 저하 문제를 강조하며, 공유 브로커 운영 시 엄격한 제한과 자동화된 가드레일이 필요함을 지적한다. 또한, 메시지 실패 처리와 운영 팀과 제품 팀 간의 책임 분담 문제도 중요한 과제로 다룬다.

https://yusufaytas.com/message-brokers-are-modern-grids

#messagebroker #kafka #rabbitmq #distributedsystems #infrastructure

Безошибочная работа с Kafka из Node js. Часть 3 Cтруктура сообщений, когда Kafka не нужна и теряет данные

В предыдущих частях рассматривались аспекты публикации сообщений , ребалансировки консьюмер групп и масштабирования чтения, а также проектирования консьюмеров . Эта часть посвящена базовой структуре сообщений, неподходящим сценариям использования Kafka и гарантиям записи.

https://habr.com/ru/articles/1013046/

#kafka #nodejs #брокеры_сообщений #kafkaconnect #producerconsumer #messagebroker #apache_kafka #событийная_архитектура #kafka_consumer #kafka_apache

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

https://habr.com/ru/articles/904932/

#kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

https://habr.com/ru/articles/1012066/

#kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ. Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали! О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье . Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

https://habr.com/ru/articles/989590/

#kafka #rabbitmq #messagebroker #highload #highload++ #high_performance #архитектура #высоконагруженные_системы

🐰 RabbitMQ es el broker de mensajería líder para sistemas distribuidos. Aprende su arquitectura, instalación y cuándo elegirlo sobre Kafka. ¡Potencia tus proyectos! 🚀

Lee más 👉 https://www.soloingenieria.org/ingenieria-en-sistemas/rabbitmq/

#RabbitMQ #MessageBroker #Microservicios #SistemasDistribuidos #DesarrolloDeSoftware #AMQP #Programación

En sistemas distribuidos, perder un mensaje puede significar perder dinero. RabbitMQ garantiza que cada mensaje llegue a su destino, sin importar las circunstancias. 📨

#RabbitMQ #MessageBroker #Microservicios #SistemasDistribuidos #DesarrolloDeSoftware #AMQP #Programación

ОС против Kafka: битва за map-области: история одного неочевидного лимита

Добрый день! Меня зовут Богдан, я тимлид в одном из отечественных финтехов. Сегодня я хочу поделиться нашей историей: как нам удалось, ненарочно, зашедулить падение всех нод одного из наших кластеров Kafka. В один из холодных февральских дней пришло сообщение от мониторинга с виртуальных машин кластера Kafka: «Свободное дисковое пространство достигло значения < 15%» . Было решено исследовать, нужно ли добавлять дискового пространства или же можно потюнить настройки ретеншена данных. Тут стоит немного вспомнить теорию. Как известно, в Kafka сообщения распределяются по партициям, а каждая партиция на брокере представлена набором сегментов. Число сегментов у партиций может быть разным — оно варьируется в зависимости от интенсивности записи и настроек размера сегмента. Сегмент (если упростить) — это лог-файл, в который просто пишутся данные в конец. По достижении временного предела либо его размера он ротируется: создается новый сегмент, и запись идет уже в него. Держа вышесказанное в голове, мы отправились смотреть настройки хранения сегментов в нашем кластере Kafka..

https://habr.com/ru/articles/900094/

#kafka #apache_kafka #messagebroker

Beyond Trends: A Practical Guide to Choosing the Right #MessageBroker

https://www.infoq.com/articles/choosing-message-broker/

#Kafka #SQS

Брокер сообщений на Rust

Всем привет. Написал бессерверный брокер сообщений, кому интересно прошу под кат.

https://habr.com/ru/articles/887232/

#messagebroker #serverless #брокер_сообщений