CDC Consumer с криптографической подписью: от Kafka до Hive
Шестая статья цикла о построении CDC-пайплайна с нуля. Данные уже текут из PostgreSQL в Kafka, но дальше просто исчезают по retention. Сегодня пишем Consumer на Python, реализуем криптографическую верификацию сообщений и строим трёхслойную архитектуру данных.
Kafka без боли: моя шпаргалка для собесов в Java. Часть 5
Всем привет! Я работаю Senior Java Developer в одном из банков, и за последние годы мне довелось пройти не один десяток собеседований, выслушать массу неожиданных вопросов и потратить немало времени на подготовку. И вот что я понял: Kafka - одна из самых любимых и в то же время самых коварных тем на технических интервью. Независимо от уровня кандидата, вопросы по Kafka появляются почти всегда - от базовой архитектуры до тонкостей гарантий доставки и работы consumer groups. Сегодня я хочу помочь подготовиться к вопросам по Kafka, вопросы будут разной сложности, будет интересно. Поехали!
https://habr.com/ru/articles/968844/
#java #kotlin #kafka #собеседование #собеседование_в_it #собеседование_вопросы #kafka_consumer #kafka_listener #асинхронность
[Перевод] Kafka умеет синхронно. В Spring Boot
Apache Kafka — король асинхронного взаимодействия в микросервисных архитектурах. Но что если нужно получить ответ сразу? Перевод от команды Spring АйО шаг за шагом покажет, как превратить Kafka в инструмент синхронной коммуникации — с настройкой ReplyingKafkaTemplate , топиками для ответа и тайм-аутами.
https://habr.com/ru/companies/spring_aio/articles/934936/
#java #kotlin #kafka #kafka_consumer #spring #spring_boot #spring_framework #springboot #spring_data #spring_data_jpa
Fast Lane / Slow Lane: разделение трафика через две очереди Kafka
Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.
https://habr.com/ru/companies/otus/articles/932134/
#kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor
Kafka: ребалансировка изнутри
Привет! Меня зовут Геннадий, я руковожу командой разработки системы учета товаров в Ozon. Мы активно используем Kafka как основной инструмент для асинхронного взаимодействия между нашими сервисами. Для нас Kafka — это не просто очередь сообщений, а один из ключевых компонентов всей архитектуры. Поэтому мы постоянно погружаемся в его тонкости и нюансы, чтобы грамотно настраивать и использовать его возможности. Думаю, многие из вас сталкиваются с тем же — когда Kafka становится критически важной частью вашего решения. Хотя информации о ребалансировке Kafka достаточно, она часто либо слишком разрозненная и техническая, либо наоборот — поверхностная и без акцента на важные детали. Я собрал для вас самое важное и объясню это простым и понятным языком.
https://habr.com/ru/companies/ozontech/articles/910568/
#kafka #kafka_consumer #rebalance #consumer #microservices #cloud #devops
Кафка: преимущества и на что ещё обратить внимание при тестировании
Привет, Хабр! Ранее мы разбирались с основами Kafka ( часть1 ), рассматривали, как тестировать микросервисы ( часть2 ) и предугадывали ошибки offset explorer и kafka ui ( часть 3 ). В этой части – так сказать, невошедшее, но полезное, что ещё можно предусмотреть при работе с брокером. Преимущества брокеров Когда я готовила материал из первой части, у меня возникло несколько предположений. Мне казалось, что некоторые преимущества относятся именно к брокерам сообщений и не имеют прямого отношения к API (временное хранение данных, обмен в реальном времени, вычитка раз в сутки, отслеживание Kafka-лага). Особенно я задумалась об этом, когда разбирала пример с мобильным веб-приложением и форматами данных для Kafka (см. раздел из статьи часть1 ). Казалось бы — зачем Kafka, если можно просто забирать данные из БД через API? Я решила проверить свои догадки у знакомого бэкенд-разработчика. Его первый вопрос был: «Зачем тебе как тестировщику это знать?», а потом добавил, что API можно настроить похожим образом. Но всё же я выделила два ключевых отличия брокеров: 1. Асинхронное взаимодействие API — это всегда запрос-ответ. Если сервис упал, мы получим 503, и данные могут потеряться. В Kafka продюсер просто оставляет сообщение в топике, и ему всё равно, читает ли его кто-то. Даже если консьюмер упал — поднимется и дочитает. 2. Масштабируемость В случае с Kafka это значит, что можно гибко добавлять продюсеров и консьюмеров. Данные можно переиспользовать — допустим, создать один топик для нескольких консьюмеров. Либо, что очень важно в продакшене, например, если продюсер начал слать мусор — его можно просто отключить.
https://habr.com/ru/companies/reksoft/articles/911132/
#kafka #микросервисы #тестирование #брокеры #тестирование_микросервисов #kafka_consumer #kafka_producer
DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды
Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).
https://habr.com/ru/companies/otus/articles/905810/
#kafka #apache_kafka #kafka_consumer #dlq #потоковая_обработка_данных #stream_processing
Kafka: как тестировать. Часть 2
Привет, Хабр! Это вторая часть статьи о Kafka (первая тут ). Давайте продолжим разбираться. Итак, часто тестирование сводится к эмуляции работы сервиса и наблюдением за топиками кафки. Для этого необходимо подключиться к кластеру кафки с теми же правами доступа, что и у вашего сервиса либо сервиса, с которым у вас интеграция (креды для кластера обычно подсказывают коллеги-разработчики, девопсы, тестировщики)....
https://habr.com/ru/companies/reksoft/articles/900918/
#kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы #тестирование_микросервисов
Kafka. Лучшие практики применения. Настройки Prudcer & Consumer
Привет, Хабр! Меня зовут Михаил, я являюсь ФинТех системным аналитиком, исполняющим роль архитектора на проектах. И сегодня я хочу поделиться материалами по Kafka, которые подготовил для обучения сотрудников из своей команды. В материале постарался отразить самые важные технические моменты по Kafka, которые будут подкреплены наглядными кейсами и примерами использования. Материал будет полезным как для начинающих, так и для продвинутых пользователей. Желаю приятного прочтения. Kafka. Лучшие практики применения.
https://habr.com/ru/articles/853652/
#kafka #кафка #kafka_consumer #producer/consumer #producer #consumer #kafkaconnect #kafka_listener #kafka_apache #kafka_connect
Ручное подтверждение сообщения в Kafka
В этой статье описывается реализация задачи ручного подтверждения(acknowledgment) обработки сообщения в Kafka через ручную отправку смещения(commit offset) сообщения. Логика реализована с использованием Java, Spring и Kafka.
https://habr.com/ru/articles/808975/
#kafka #kafka_listener #spring #kafka_consumer #kafka_acknowledgment #kafka_offset
Habr
