Reactive Programming не спасёт вас. Если вы не решили эти 5 проблем — у вас просто медленный монолит с Flux

Нагрузочный тест. 10 000 событий в секунду, три инстанса сервиса, Spring WebFlux, Project Reactor — всё как по учебнику. Смотрю на метрики. Event loop завис на 800 миллисекунд. В хранилище — данные за более позднее время перезаписаны более ранними. WebSocket-сессия потеряла сообщения под нагрузкой. Два из трёх инстансов не получают события. Код написан на WebFlux. Но реактивности в нём не было. Я строил сервис потоковой доставки данных в реальном времени: тысячи источников → обработка → тысячи WebSocket-подписчиков. Каждая из пяти проблем ниже была невидима на демо. Каждая проявилась под нагрузкой. И каждая из них — не баг фреймворка. Это паттерны которые нужно знать заранее. Узнать личный опыт

https://habr.com/ru/articles/1039618/

#webflux #websocket #java #latency #deadlocks #race_condition #flux #redis #kafka_apache #async

Безошибочная работа с Kafka из Node js. Часть 3 Cтруктура сообщений, когда Kafka не нужна и теряет данные

В предыдущих частях рассматривались аспекты публикации сообщений , ребалансировки консьюмер групп и масштабирования чтения, а также проектирования консьюмеров . Эта часть посвящена базовой структуре сообщений, неподходящим сценариям использования Kafka и гарантиям записи.

https://habr.com/ru/articles/1013046/

#kafka #nodejs #брокеры_сообщений #kafkaconnect #producerconsumer #messagebroker #apache_kafka #событийная_архитектура #kafka_consumer #kafka_apache

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

https://habr.com/ru/articles/904932/

#kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

https://habr.com/ru/articles/1012066/

#kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

Очереди сообщений в Postgres Pro: отказ от внешних брокеров ради транзакционной надёжности

Ваш сервис отправил сообщение в RabbitMQ, но в момент коммита транзакция в базе данных откатилась. Классический кошмар распределенных систем, порождающий данные-призраки и часы отладки. Обычно эту проблему решают сложным кодом, двухфазными коммитами или просто надеждой на лучшее. А что, если бы откат транзакции в PostgreSQL мог автоматически «откатить» и отправку сообщения, вернув его в очередь без единой строчки вашего кода? Рассказываем, как это работает.

https://habr.com/ru/companies/postgrespro/articles/965632/

#postgresql #kafka #kafka_apache #брокер_сообщений #брокеры_сообщений #базы_данных #postgres_pro #postgres_pro_enterprise

Как интегрировать Kafka Apache с CRM Битрикс24

Всем привет! Меня зовут Перебиковский Ярослав и это моя первая статья для Хабр. Я ведущий разработчик компании «Эм Си Арт» — интегратора Битрикс24. Мы давние партнеры Битрикс24 и у нас в арсенале есть множество кастомных и, что важнее, интересных решений. Одним из них хотелось бы поделиться — расскажу о нем в разрезе пользователя, разработчика, архитектуры и опишу использованные подходы. У одного из наших клиентов возникла нетривиальная задача — интегрировать CRM Битрикс24 с сайтом, написанным на Go. В качестве брокера сообщений клиент использовал Kafka - как самый устойчивый к нагрузкам и подходящий по ряду других параметров. Но оказалось, что готовых решений для интеграции с этим стеком технологий не было ни у нас, ни на рынке вообще. Поэтому решили написать собственный модуль с нуля.

https://habr.com/ru/companies/bitrix/articles/939342/

#kafka_apache #php #bitrix24 #Эм_Си_Арт #mcart

Apache Kafka: что нужно знать тестировщику

Если ты уже начал осваивать тестирование, но Кафка для тебя — по-прежнему только чешский писатель, у нас плохие новости…. Но есть и хорошие! Сегодня мы поговорим про брокер сообщений Apache Kafka: из чего он состоит, как работает, зачем нужен и где применяется. А главное — разберем на конкретных примерах, как его можно протестировать.

https://habr.com/ru/articles/931432/

#тестирование_вебприложений #тестирование #тестирование_по #брокер_сообщений #kafka #kafka_apache #kafka_в_тестировании

Kafka. Лучшие практики применения. Настройки Prudcer & Consumer

Привет, Хабр! Меня зовут Михаил, я являюсь ФинТех системным аналитиком, исполняющим роль архитектора на проектах. И сегодня я хочу поделиться материалами по Kafka, которые подготовил для обучения сотрудников из своей команды. В материале постарался отразить самые важные технические моменты по Kafka, которые будут подкреплены наглядными кейсами и примерами использования. Материал будет полезным как для начинающих, так и для продвинутых пользователей. Желаю приятного прочтения. Kafka. Лучшие практики применения.

https://habr.com/ru/articles/853652/

#kafka #кафка #kafka_consumer #producer/consumer #producer #consumer #kafkaconnect #kafka_listener #kafka_apache #kafka_connect

Скажем нет «Превращению», или анализ Kafka

Бывало ли вам интересно, какие баги может таить исходный код проектов, которыми пользуются большие компании по всему миру? Не упустите шанс познакомиться с интересными ошибками, которые нашёл статический анализатор PVS-Studio в исходном коде Open Source проекта Apache Kafka.

https://habr.com/ru/companies/pvs-studio/articles/851066/

#Java #программирование #статический_анализ #ошибки #kafka #kafka_apache #apache #apache_kafka #брокер_сообщений #pvsstudio

Реализация итоговой согласованности. Разбор библиотеки event-outbox

В этой статье я хотел бы рассказать об архитектурных шаблонах Transactional Outbox и Idempotent Consumer. Кроме того, я хотел бы показать собственную реализацию, содержащую интересное сочетание технологий, выходящее за рамки этих шаблонов, значительно упрощающее реализацию и эксплуатацию.

https://habr.com/ru/articles/820867/

#transactional_outbox #python3 #kafka_apache #mongodb #idempotency #я_пиарюсь