Как перестать терять данные в Kafka: окно безопасности и проактивный мониторинг «возраста» данных

В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности». Проблема: Байты сильнее времени Решение: Метрика «Data Safety Window» Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данных диктует нагрузка в моменте. Чтобы не гадать по конфигам, я внедрил расчет фактического запаса времени в Grafana.

https://habr.com/ru/articles/1020422/

#Kafka #Data_Loss #Platform_Engineering #Observability #Grafana #Monitoring #DevOps #SRE #Data_Infrastructure #Retention