От Redis к Kafka Streams: как мы проверяем сетевую доступность 200к устройств
В инфраструктуре банка мы ежедневно работаем с ~200 000 физических устройств : это IP-камеры, сетевые видеорегистраторы и другая периферия. Каждое из них должно быть проверено на доступность — не реже чем раз в 10 минут . Требования к системе: - не создавать бессмысленную нагрузку на инфраструктуру; - решение должно быть горизонтально масштабируемым; - система должна выдерживать падение pod, rebalance, сетевые сбои.
Kafka Streams для начинающих. Потоковая обработка данных в мире Java
Привет, коллеги-разработчики! За всю историю человечества в разные эпохи существовали определенные виды ресурсов, которые определяли наше развитие и эволюцию. В 19 веке главным ресурсом для человечества было золото, в 20 веке – нефть и газ, а в 21 веке этим ресурсом стала информация. В нашем быстро меняющемся мире, где данные льются рекой и эти объемы растут с невероятной скоростью, нам как разработчикам приходится постоянно искать новые подходы для эффективной работы. От финансовых транзакций и логов серверов до показаний IoT-сенсоров и кликов пользователей на веб-сайтах — информация поступает непрерывным потоком. Работать с ней в реальном времени становится критически важным для того, чтобы бизнес мог принимать своевременные решения и оставаться конкурентоспособным. Итак, в этой статье мы разберемся в новомодной технологии для работы с данными – Kafka Streams и узнаем, что это, область применения, а также достоинства и недостатки.
Fast Lane / Slow Lane: разделение трафика через две очереди Kafka
Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.
https://habr.com/ru/companies/otus/articles/932134/
#kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor
Как мы построили высоконагруженную систему для обработки ставок в реальном времени: Кейс по разработке Bucalsport.net
В процессе разработки платформы Bucalsport.net мы столкнулись с задачей создания высоконагруженной системы для обработки ставок в реальном времени. Нам необходимо было обеспечить низкие задержки, высокую доступность и отказоустойчивость, а также безопасность и масштабируемость на всех уровнях. В этом посте расскажем о ключевых технологических решениях, которые мы использовали для реализации платформы.
https://habr.com/ru/articles/922550/
#высоконагруженные_системы #микросервисы #kafka_streams #redis_python #PostgreSQL #масштабируемость #Отказоустойчивость #безопасность_данных #Kubernetes
В процессе разработки платформы Bucalsport.net мы столкнулись с задачей создания высоконагруженной системы для обработки ставок в реальном времени. Нам необходимо было обеспечить низкие задержки,...
Devhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?
Привет, Хабр! На прошлой неделе мы провели стрим по очередям с Владимиром Перепелицей (эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload). Обсудили выбор брокера или системы очередей 2025м году: что поменялось? NATS, его особенности, перспективы, кого он “подвинет” в первую очередь - Kafka или RabbitMQ? Что нового в свежей Apache Kafka 4? Насколько популярны архитектуры, где, например, Kafka основной storage (IoT, сбор метрик и тд). Под катом - расшифровка стрима.
https://habr.com/ru/articles/899670/
#kafka #tiered_storage #nats #redis #streaming #kafka_streams #highload #queues
Привет, Хабр! Я Алексей Рыбак, предприниматель и основатель R&D-лаборатории DevHands , автор телеграм-канала про System Design и Highload . В прошлом — СТО и руководитель московского...
Отказоустойчивая распределённая архитектура для UX-аналитики
UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов. Также важна возможность обработки данных в реальном времени , чтобы как можно быстрее получать метрики и инсайты об опыте пользователей. В этой статье мы рассмотрим ключевые аспекты такой архитектуры: масштабирование UX-событий, надёжный сбор метрик с устройств (в том числе офлайн), реалтайм-аналитику на основе потоковых технологий (Kafka, Flink, Kafka Streams, ClickHouse) и механизмы гарантированной доставки событий (at-least-once, exactly-once, retry, дедупликация). В результате станет понятно, как правильно спроектированная система UX-аналитики позволяет оперативно находить проблемные места UI, проводить A/B тесты и глубже понимать поведение пользователей.
https://habr.com/ru/articles/897798/
#clickhouse #kafka #flink #kafka_streams #распределенные_системы #отказоустойчивые_системы #аналитика #анализ_данных #анализ_и_проектирование_систем #анализ
Kafka Streams ч5: настройка окон, работа с задержанными событиями и suppression
Это моя финальная часть(ну пока что ;)) серии статей про Kafka Streams, прошлые статьи тут [ ноль , один , два , три ] Теперь давайте разработаем приложение, которое считывает: cобытия о пульсе из топика pulse-events .
Kafka Streams ч4: Stateful processing
В предыдущих статьях мы познакомились с основами Kafka Streams и рассмотрели stateless операции. В этой статье мы погрузимся в stateful processing и создадим приложение для управления запасами в реальном времени. Шаг за шагом мы реализуем функциональность, которая позволит отслеживать состояние запасов товаров, обрабатывать поступления и продажи, а также предоставлять доступ к текущему состоянию через REST API.
Kafka Streams ч3: Stateless processing
В предыдущих статьях [ ноль , один ] мы рассмотрели основные концепции Kafka Streams и сравнили их со стандартными подходами обработки потоковых данных. В этой части мы сосредоточимся на stateless processing (обработке без сохранения состояния) и поймем как применять различные операции Kafka Streams для решения практических задач. Мы создадим приложение для обработки данных медицинской клиники. Требования к ETL пайплайну: Приложение должно обрабатывать поток JSON-сообщений из входного топика Kafka (patient-records), содержащих информацию о пациентах медицинской клиники. Цель состоит в том, чтобы применять различные stateless операции для трансформации данных и отправлять результаты в выходной топик (clinic-notifications-topic). Это позволит продемонстрировать, как использовать основные возможности Kafka Streams для обработки данных без сохранения состояния.
Kafka Streams ч2: DSL, Processor API
DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции.
https://habr.com/ru/articles/854680/
#etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн #java
Habr
