HabrMar 12

Немезида для хаоса: как мы построили событийную архитектуру для 500+ интеграций

Когда у компании много сервисов и данных, то лучше всего иметь план Б на любую ситуацию, например когда нужно быстро оптимизировать ресурсы и работать в режиме «минус один дата‑центр» без просадок, в то время как утилизация серверов при этом стремится к 100%. Смертельный номер? Вполне посильная задача, с которой справилась команда Яндекс Go. Мы провели аудит и поняли, что у нас очень много синхронных походов из критичных сервисов в некритичные, а ещё и поллинг. И это требовало внедрения событийной модели. Тысяча микросервисов, 150 команд разработки, несколько языков программирования, и у каждого разработчика своё представление о том, как правильно читать сообщения из Kafka. Библиотека, которую мы раздали командам, быстро бы обросла форками, заплатками и костылями. За шесть месяцев командой из шести человек мы превратили эту библиотеку в централизованную платформу Немезида. Сейчас на ней крутится больше 500 интеграций, а новую можно запустить меньше чем за четыре часа. Меня зовут Алексей Терентьев, я руководитель одной из служб отдела эффективности Яндекс Go. В этой статье я расскажу, как мы прошли путь от простого «прочитал — обработал — закоммитил» к по‑настоящему масштабной архитектуре: со всеми граблями, факапами и конкретными решениями.

https://habr.com/ru/companies/yandex/articles/1007378/

#событийная_модель #kafka #logbroker #dlq #очередь_сообщений

Немезида для хаоса: как мы построили событийную архитектуру для 500+ интеграций

Когда у компании много сервисов и данных, то лучше всего иметь план Б на любую ситуацию, например когда нужно быстро оптимизировать ресурсы и работать в режиме «минус один...

Хабр
 Hacker NewsJan 25
Using PostgreSQL as a Dead Letter Queue for Event-Driven Systems
https://www.diljitpr.net/blog-post-postgresql-dlq
#ycombinator #PostgreSQL #Dead_Letter_Queue #DLQ #event_driven_systems #Kafka #distributed_systems #database_design #system_design #Wayfair #retry_mechanism #ShedLock
Using PostgreSQL as a Dead Letter Queue for Event-Driven Systems

Learn how to use PostgreSQL as a Dead Letter Queue (DLQ) for event-driven systems. Case study from Wayfair showing how to handle failures in Kafka consumers with PostgreSQL.

Carsten RaddatzJul 22, 2025
#DLQ hätte auch auf solch bittere Fälle hingewiesen wie hier. Menschen mit Krediten und begleitenden Problemen werden gehackt, um Gegenanwälten Argumente zu liefern. https://mastodon.social/deck/@josephco[email protected]/114891375374163379
Carsten RaddatzJul 8, 2025
The #DLQ theme is as current as it was before: where there's data there's a market for it. Add to that today everything data is digital, and yours is on the market too, e.g. if you've ever used an aeroplane https://jacobin.com/2025/05/airlines-data-ice-trump-immigration/
Airlines Are Selling Your Data to ICE

An aviation industry clearinghouse is collecting data on air travelers from billions of flights — and selling it to Trump’s immigration enforcers.

Carsten RaddatzJul 8, 2025
What #DLQ might have been: inviting commentary such as this, in 2008. But I get it, The Guardian has a much bigger audience https://www.theguardian.com/technology/2008/jan/15/data.security
Personal data is as hot as nuclear waste

Cory Doctorow: We should treat personal electronic data with the same care and respect as weapons-grade plutonium

The Guardian
Nube ColectivaJun 14, 2025

Retries + DLQ in Events Architecture (Online Store) ! 🇺🇸
🔎Zoom: https://nubecolectiva.com/comunidad/flyers/retries-dlq-events-architecture-store/

Reintentos + DLQ En Arquitectura Eventos (Tienda Online) ! 🇪🇸
🔎Zoom: https://nubecolectiva.com/comunidad/flyers/reintentos-dlq-arquitectura-eventos-tienda/

#programming #coding #programación #webdevelopment #devs #softwaredevelopment #dlq #backoff #ecommerce #eda

HabrMay 19, 2025

DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды

Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).

https://habr.com/ru/companies/otus/articles/905810/

#kafka #apache_kafka #kafka_consumer #dlq #потоковая_обработка_данных #stream_processing

DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды

Привет, Хабр! Сегодня рассмотрим, как построить Kafka‑консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ)....

Хабр
Carsten RaddatzMay 16, 2025
What #DLQ cound have been, a forum for personal contributions with insight, such as this: privacy mistakes compound over time, and may not wither away on their own https://nordictimes.com/tech/what-i-wish-i-knew-about-privacy-sooner/
What I wish I knew about privacy sooner - The Nordic Times

Naomi Brockwell: Here are the lessons I wish I had learned sooner - and the steps you can take now, before you wish you had.

The Nordic Times
Carsten RaddatzMay 15, 2025
What #DLQ could have been: reminding you how accumulating PII without the actual person in mind add up to real nightmares. The hope that slightly altering your words saves you. The Eternal Value of Privacy as think as a phone book of old, gone https://www.schneier.com/essays/archives/2006/05/the_eternal_value_of.html
The Eternal Value of Privacy - Schneier on Security

Finnish translation French translation [#1] French translation [#2] German translation Italian translation Japanese translation Polish translation Portuguese translation Spanish translation The most common retort against privacy advocates—by those in favor of ID checks, cameras, databases, data mining and other wholesale surveillance measures—is this line: “If you aren’t doing anything wrong, what do you have to hide?” Some clever answers: “If I’m not doing anything wrong, then you have no cause to watch me.” “Because the government gets to define what’s wrong, and they keep changing the definition.” “Because you might do something wrong with my information.” My problem with quips like these—as right as they are—is that they accept the premise that privacy is about hiding a wrong. It’s not. Privacy is an inherent human right, and a requirement for maintaining the human condition with dignity and respect...

Schneier on Security
Carsten RaddatzMay 15, 2025
What #DLQ could have been: writing sad-minded articles about how all advertisement is going to track you. PII going on sale, highest bidder wins, declaring online privacy a joke. And how everything is true https://www.iccl.ie/digital-data/eu-ruling-tracking-based-advertising-by-google-microsoft-amazon-x-across-europe-has-no-legal-basis/
EU ruling: tracking-based advertising by Google, Microsoft, Amazon, X, across Europe has no legal basis

EU data protection authorities find that the consent popups that plagued Europeans for years are illegal. All data collected through them must be deleted. This decision impacts Google’s, Amazon’s and Microsoft’s online advertising businesses.

Irish Council for Civil Liberties