Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

https://habr.com/ru/articles/1012066/

#kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

Транзакционная работа с топиками: архитектура и сравнение решений в Apache Kafka и YDB Topics

Привет, Хабр! Меня зовут Алексей Николаевский, и мы с командой делаем СУБД Яндекса. С 2013 года в Яндексе использовали Kafka для потоковой передачи данных. Но Kafka со временем перестала справляться с растущими объёмами, и в 2017 году мы перешли на своё решение. Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нём также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия, о которых в конце прошлого года я рассказал на московской конференции HighLoad . Под катом — адаптированная для Хабра статья по мотивам этого доклада : про архитектуру транзакций в обеих системах и интересные для разработчиков детали и нюансы, которые мы обсуждали на конференции.

https://habr.com/ru/companies/ydb/articles/949662/

#ydb #kafka #streaming_platforms #message_broker #transition #database #exactlyonce

Самовосстанавливающаяся инфраструктура через цифровые двойники: архитектура и инструменты

В этой статье разбираем, как концепция цифровых двойников помогает построить инфраструктуру, способную автоматически обнаруживать сбои и восстанавливаться без участия человека. Подробно рассматриваем ключевые компоненты, примеры кода на Python и Go, интеграцию с Kubernetes и лучшие практики на основе реальных кейсов.

https://habr.com/ru/articles/935512/

#цифровые_двойники #Data_Plane #шина_событий #message_broker #TimeSeries_DB #Recovery_Planner #Selfhealing_infrastructure

[Перевод] Интеграция REST и MQ брокеров сообщений через шлюз OpenIG

В статье рассмотрены варианты конвертации сообщений из REST в брокер сообщений и обратно, а так же возможные варианты использования такого подхода.

https://habr.com/ru/articles/828832/

#apache_kafka #kafka #integration #интеграция #mq #ibm_mq #message_broker #rest #rest_api