HackerNoonMost Kafka pipelines pass staging without a single failure. This guide covers 4 failure modes and governance gaps that only show up in production. https://hackernoon.com/why-your-kafka-pipeline-looks-fine-in-staging-but-breaks-in-production #kafka
HabrПовторная обработка сообщений в Kafka Consumer
Привет! Меня зовут Дмитрий Михеев, я ведущий разработчик в MAGNIT OMNI — бизнес-группе ритейлера «Магнит», которая отвечает за развитие омниканального опыта для клиентов. В своих сервисах для межсервисных коммуникаций помимо gRPC-запросов мы используем брокер сообщений Kafka. Если описывать его в двух словах, Kafka — это распределённый журнал событий (event log), через который сервисы обмениваются данными в реальном времени. Не буду подробно останавливаться на устройстве Kafka — это хорошо описано в документации. В этой статье хочу подсветить один неочевидный момент, который может привести к проблемам при работе с consumer’ами — повторную обработку сообщений (retry).
https://habr.com/ru/companies/magnit/articles/1043068/
#kafka #apachekafka #kafkaconsumer #retry #повторнаяобработка #идемпотентность #высоконагруженныесистемы #java
kafkautomat
Jobs for Developers
FreyaSM37
El laboratorio de Rafa
