.NET C# и RabbitMQ Streams: превратить кролика в Kafka легко, нужно всего лишь…

Работа с очередями сообщений — важная часть современных систем обработки данных. В нашей команде мы используем брокер сообщений RabbitMQ, но нам пришлось столкнуться с проблемами при обработке большого объема данных. В поисках решений я начал изучать различные способы оптимизации, и таким образом познакомился с RabbitMQ Streams – плагином, добавляющим log-based потоки, работающие по аналогии с Kafka Я потратил некоторые время, вникая в принципы работы RabbitMQ Streams с .NET и хочу представить вам краткий обзор, который призван упростить погружение в эту систему

https://habr.com/ru/articles/974952/

#rabbitmq #net #c# #брокер_сообщений #apache_kafka #очереди_сообщений

Глубокое погружение в архитектуру Kafka: от простых сценариев до геокластера

Привет, Хабр! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своей работе мы широко используем open-source-решения, в том числе Apache Kafka. Этот распределённый программный брокер сейчас применяется практически во всех наших проектах, и сегодня я предлагаю заглянуть внутрь чёрного ящика, чтобы понять, как там всё внутри устроено. В своей работе мы широко используем open-source-решения, в том числе Apache Kafka. Этот распределённый программный брокер сейчас применяется практически во всех наших проектах, и сегодня я предлагаю заглянуть внутрь чёрного ящика, чтобы понять, как там всё внутри устроено. Этот текст написан на основе моего доклада на конференции SaintHighload++ 2025 в Санкт Петербурге. Так что, если вы были там в качестве слушателя, информация не будет для вас новой. Впрочем, повтор полезного материала никогда не бывает лишним. Поехали!

https://habr.com/ru/articles/972788/

#архитектура #kafka #highload #highload++ #высокая_нагрузка #высокая_производительность #брокер_сообщений #mirrormaker

[Перевод] Выбор между RabbitMQ и Apache Kafka

Если вы задаётесь вопросом, что лучше — Apache Kafka или RabbitMQ, или думаете, что RabbitMQ надёжнее Apache Kafka, хочу сразу остановить вас. Эта статья рассматривает обе системы с более широкой точки зрения и сосредоточится на функциональности, которую они предоставляют. Это поможет вам принять обоснованное решение о том, какую систему использовать и в каких случаях. Kafka vs RabbitMQ

https://habr.com/ru/companies/otus/articles/969914/

#kafka #rabbitmq #Apache_Kafka #брокер_сообщений #очереди_сообщений #стриминг_данных

Брокеры сообщений Kafka и RabbitMQ в реальной жизни

Большинство программ, сервисов и служб работают не сами по себе, а взаимодействуют друг с другом и внешними системами. Без такого «общения» не обойтись при построении больших и сложных приложений — маркетплейсов и интернет-магазинов, соцсетей и онлайн-кинотеатров, агрегаторов отелей и такси. Для передачи данных между различными компонентами распределённых систем придуманы специальные посредники — брокеры сообщений. Меня зовут Александр Борецкий, я архитектор в Т1 Облако. Поделюсь своим опытом работы с самыми популярными из брокеров сообщений — Kafka и RabbitMQ. Расскажу, как выбрать и настроить подходящий брокер, а также какие архитектурные особенности есть у каждого из них.

https://habr.com/ru/companies/T1Holding/articles/968394/

#rabbitmq #kafka #брокер_сообщений

Очереди сообщений в Postgres Pro: отказ от внешних брокеров ради транзакционной надёжности

Ваш сервис отправил сообщение в RabbitMQ, но в момент коммита транзакция в базе данных откатилась. Классический кошмар распределенных систем, порождающий данные-призраки и часы отладки. Обычно эту проблему решают сложным кодом, двухфазными коммитами или просто надеждой на лучшее. А что, если бы откат транзакции в PostgreSQL мог автоматически «откатить» и отправку сообщения, вернув его в очередь без единой строчки вашего кода? Рассказываем, как это работает.

https://habr.com/ru/companies/postgrespro/articles/965632/

#postgresql #kafka #kafka_apache #брокер_сообщений #брокеры_сообщений #базы_данных #postgres_pro #postgres_pro_enterprise

ActiveMQ Artemis vs Apache Kafka

Добрый день. Сегодня мы поговорим о двух мощных технологиях для асинхронного обмена данными — ActiveMQ Artemis и Apache Kafka. Мы разберемся, что они из себя представляют, как устроены под капотом, и главное — в каких ситуациях стоит выбрать одну, а в каких другую. Наш план на сегодня довольно насыщенный. Мы начнем с того, почему вообще все пришли к асинхронному общению сервисов. Затем подробно разберем ActiveMQ Artemis — что это и какие задачи решает. Заглянем в его техническую архитектуру, чтобы понять источник его производительности. После этого мы кратко вспомним основы Apache Kafka, чтобы затем перейти к самому интересному — детальному сравнению. Мы составим четкие рекомендации, поговорим о нагрузочных характеристиках и подведем итоги.

https://habr.com/ru/articles/959660/

#activemq_artemis #apache_kafka #брокер_сообщений #очереди_сообщений #асинхронное_программирование #messaging #jms #eventdriven_architecture #pubsub

Интеграции без иллюзий: интервью с Владимиром Гантуриным, техническим директором Compo Soft

Интеграции и обмен данными сегодня — это не просто техническая задача, а фундамент цифровой зрелости бизнеса. Российский рынок переживает быстрые изменения: уход западных вендоров, рост требований к надёжности и безопасности, распространение микросервисных архитектур. Как компании справляются с вызовами, когда стоит менять старую интеграционную платформу, зачем бизнесу API Gateway и брокеры сообщений, и можно ли обойтись без интеграционной шины?

https://habr.com/ru/companies/compo/articles/958584/

#шина_данных #esb #api #интеграции #интеграция_систем #импортозамещение #оркестрация_микросервисов #java #брокер_сообщений #миграции_данных

Apache Kafka: что нужно знать тестировщику

Если ты уже начал осваивать тестирование, но Кафка для тебя — по-прежнему только чешский писатель, у нас плохие новости…. Но есть и хорошие! Сегодня мы поговорим про брокер сообщений Apache Kafka: из чего он состоит, как работает, зачем нужен и где применяется. А главное — разберем на конкретных примерах, как его можно протестировать.

https://habr.com/ru/articles/931432/

#тестирование_вебприложений #тестирование #тестирование_по #брокер_сообщений #kafka #kafka_apache #kafka_в_тестировании

Тонкие настройки отправки сообщения в RabbitMQ

Сообщения в RabbitMQ — это основные единицы данных, которые передаются между продюсерами и потребителями. Понимание их структуры и возможностей позволяет эффективно управлять потоком данных в распределенных системах. В этой статье мы разберем анатомию сообщений, обязательные и опциональные компоненты, а также реализуем пример отправки объекта с настройкой свойств

https://habr.com/ru/companies/otus/articles/928152/

#RabbitMQ #брокер_сообщений #очередь_сообщений #AMQP #обменник_RabbitMQ #direct_exchange #dead_letter_queue #message_TTL #message_priority

Обменники в RabbitMQ, которые не продают валюту

Очень часто в проектах необходимо использовать передачу сообщений между компонентами распределенной системы по определенным правилам. И перед разработчиком встает вопрос — какой инструмент наиболее эффективно можно использовать для этого? И сегодня мы рассмотрим брокер сообщений, который позволяет это делать «прямо из коробки» и это будет RabbitMQ. RabbitMQ — это популярный брокер сообщений, который реализует стандарт AMQP и который позволяет эффективно управлять коммуникацией между сервисами через очереди. И в этой статье мы разберем основные типы обменников (exchange): Direct, Topic, Headers и Fanout, которые напрямую участвуют в процессе маршрутизации, а также приведем примеры их настройки в Spring Boot.

https://habr.com/ru/companies/otus/articles/926344/

#rabbitmq #брокер_сообщений #Direct_Exchange #topic_exchange #Headers_Exchange #Fanout_Exchange #маршрутизация_сообщений #routing_key