Транзакционная работа с топиками: архитектура и сравнение решений в Apache Kafka и YDB Topics

Привет, Хабр! Меня зовут Алексей Николаевский, и мы с командой делаем СУБД Яндекса. С 2013 года в Яндексе использовали Kafka для потоковой передачи данных. Но Kafka со временем перестала справляться с растущими объёмами, и в 2017 году мы перешли на своё решение. Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нём также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия, о которых в конце прошлого года я рассказал на московской конференции HighLoad . Под катом — адаптированная для Хабра статья по мотивам этого доклада : про архитектуру транзакций в обеих системах и интересные для разработчиков детали и нюансы, которые мы обсуждали на конференции.

https://habr.com/ru/companies/ydb/articles/949662/

#ydb #kafka #streaming_platforms #message_broker #transition #database #exactlyonce