Apache Kafka: как настроить тестирование сообщений в топиках

Привет, Хабр! Я SDET-инженер в SimbirSoft Александр, в этой статье я предлагаю вам: Рассмотреть основы Kafka, ее архитектуру и как она работает. • Выяснить, как тестируются сообщения в топиках, какие инструменты для этого используются. Приведу примерные сценарии. • Обсудить роль Kafka в интеграционном тестировании, покажу пример интеграционного теста. • Материал будет полезен для новичков в области тестирования ПО, как ручного, так и автоматизированного.

https://habr.com/ru/companies/simbirsoft/articles/1034284/

#SDET #apache_kafka #kafka #java #тестирование #разработка_в_тестировании

Безошибочная работа с Kafka из Node js. Часть 3 Cтруктура сообщений, когда Kafka не нужна и теряет данные

В предыдущих частях рассматривались аспекты публикации сообщений , ребалансировки консьюмер групп и масштабирования чтения, а также проектирования консьюмеров . Эта часть посвящена базовой структуре сообщений, неподходящим сценариям использования Kafka и гарантиям записи.

https://habr.com/ru/articles/1013046/

#kafka #nodejs #брокеры_сообщений #kafkaconnect #producerconsumer #messagebroker #apache_kafka #событийная_архитектура #kafka_consumer #kafka_apache

Книга: «Apache Kafka в действии. От базовых концепций до продакшена»

Привет, Хаброжители! Apache Kafka — это эталонная платформа для аналитики в реальном времени, передачи событий и потоковой обработки. Выступая в качестве центрального узла для распределенных данных, Kafka обеспечивает беспрепятственный обмен между продюсерами и потребителями по модели «издатель — подписчик». Kafka легко обрабатывает миллионы событий в секунду, а его надежная архитектура гарантирует высокую отказоустойчивость и масштабируемость.

https://habr.com/ru/companies/piter/articles/1026164/

#книги_по_программированию #kafka #apache_kafka #обработка_данных

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

https://habr.com/ru/articles/904932/

#kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

Kafka. WebClient. Feign. WebSocket. Или как общаются микросервисы

Начнем с того, как микросервисы могут общаться? На самом деле все просто, сложные приложения могут состоять из нескольких разных микросервисов. Каждый сервис будет иметь свою логику, свою ответственность. Сервисы одной системы могут быть написаны на разных языках программирования. Однако это не будет мешать им общаться. Так вот общение это буквально - обмен информацией. Обмен сообщениями определенного формата, который смогут понять все сервисы. Это похоже на общение между нами. Я говорю что-то собеседник слушает информацию, дальше обрабатывает ее неким образом своим мыслительным аппаратом и формирует ответное сообщение и проговаривает его вслух адресуя голос в направлении оппонента. Для отправки сообщения нам людям, нужно знать адресата или видеть его, для того, чтобы обратиться к нему. Адресату, нужно слышать и в идеале уметь понимать на каком языке говорит другой человек. Если вы знаете несколько языков, то вы сможете принять сообщение на одном языке обработать его и перевести в своей голове и выдать перевод другому человеку. Все эти модели общения похожим образом перекладывают на взаимодействие между сервисами.

https://habr.com/ru/articles/1022974/

#kafka #websocket #java #apache_kafka #webclient #feignclient #feign

Как проектировать интеграции с Kafka

Привет, Хабр! Меня зовут Елизавета Колесникова, и вот уже 4 года я работаю системным аналитиком СПАО «Ингосстрах» Этой статьёй я бы хотела начать серию материалов для аналитиков и разработчиков, которые только начинают свой путь в ИТ. Когда-то я сама жестко плавала в бульоне ИТ-терминов, а также тыкалась по разным сайтам в поисках подходящей информации, как слепой котенок, без возможности соединить воедино полученные данные таким образом, чтобы моих интеллектуальных ресурсов хватило для написания ТЗ. Толковых гайдов и памяток я не находила, в основном попадалась или сухая теория, или жидкая вода. Поднабравшись немного опыта, я решила составить серию памяток, где буду расписывать ключевые вопросы, которые помогут начинающим специалистам разобраться, как писать ТЗ по интеграциям. Если вам прилетала задачка, в рамках которой необходимо продумать, как Kafka будет взаимодействовать с вашей системой, но вы не особо знакомы с этой платформой, то моя памятка — как раз для такого случая.

https://habr.com/ru/companies/ingos_it/articles/1015314/

#кафка #apache_kafka #kafka #тз #тз_разработчикам #интеграция #интеграции #интеграции_сервисов #интеграции_с_it_системами #системный_анализ

Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

https://habr.com/ru/articles/1012066/

#kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

Асинхронная архитектура на CQRS: гайд по внедрению в 2026 году

Монолит тормозит, бизнес требует новых отчётов, а каждая правка ломает всё вокруг? Знакомо! В этой статье рассматриваются примеры внедрения CQRS и Event Sourcing. разбираются практики разделения команд и запросов, построение асинхронной архитектуры на Kafka. Под катом — код, Mermaid-схемы и best practices, которые реально работают.

https://habr.com/ru/companies/otus/articles/994156/

#ddd #CQRS #DomainDriven_Design #Event_Sourcing #асинхронная_архитектура #микросервисы #Java #Apache_Kafka

[Перевод] Инженерия данных: паттерны проектирования

Приветствуем вас, Хабр. В течение минувшего года мы серьёзно прорабатывали тему инженерии данных (Data Engineering), поскольку остались очень довольны читательским интересом к вышедшей у нас книге "

https://habr.com/ru/companies/bhv_publishing/articles/1003452/

#книги #паттерны_проектирования #data_engineering #apache_spark #apache_kafka #publishsubscribe

47 миллионов инструментов в реалтайме: как устроена архитектура MarketData в Финаме

В современном финтехе скорость, надежность и глубина предоставляемой информации особенно важны. За интуитивно понятным интерфейсом, который видит трейдер, скрывается сложная архитектура из взаимосвязанных сервисов, отвечающих за сбор, обработку и доставку рыночных данных в реальном времени. Мы — команда MarketData компании «Финам», в этой статье мы рассказываем, как устроена наша система изнутри.

https://habr.com/ru/companies/finam_broker/articles/1001328/

#архитектура_по #микросервисы #рыночные_данные #grpc #реалтайм #биржевые_данные #rust #финансовый_терминал #Apache_Kafka #финтех