Простой API, умный сервер: третий класс брокеров, который пропускают между Kafka и RabbitMQ

Привет, Хабр! Меня зовут Андрей Серебрянский. Раньше я строил платформы потоковой обработки данных в банках, а теперь вместе с командой разрабатываю YDB Topics и YMQ. После своих докладов на конференциях мы с коллегами по индустрии часто обсуждаем брокеры сообщений. И меня, как разработчика таких решений, огорчает упрощённый подход: «RabbitMQ не нужен, всё можно собрать на Kafka». Вспоминая известную шутку: да, с помощью буханки бородинского и двух спиц можно собрать модель троллейбуса. Но зачем? Да, я люблю Kafka и с удовольствием про неё рассказываю на Хабре и Хайлоаде. Но, кроме Kafka и RabbitMQ, есть и третий класс брокеров сообщений: SQS-совместимые очереди в облачных платформах ( и не только ), которые для многих продакшн-задач подходят лучше, чем Kafka. Опытные разработчики, проводя system design interview, любят спрашивать друг друга о разнице между брокерами сообщений. А мне каждый раз хочется ответить: «Зависит от контекста». В статье под катом я начну с такого контекста: напомню, для чего изначально создавались SQS, RabbitMQ, Kafka. После этого расскажу про принцип «простой API, умный сервер» и про задачи, которые в эпоху микросервисов решаются с помощью брокеров. А в завершение — про реализацию SQS, над которой сейчас работаю: Yandex Message Queue.

https://habr.com/ru/companies/ydb/articles/1042560/

#kafka #rabbitmq #sqs #celery #ydb

ElasticMQ - an in-memory AWS #SQS implementation for testing - just got a new UI!

Thanks to Michał Ossowski for his continued stewardship of the project and new development :)

AWS has 200+ services. Most companies use about 15. The same ones show up in every project: EC2, S3, Lambda, RDS, DynamoDB, API Gateway, CloudFront, SQS, SNS, CloudWatch.
That handles 80% of everything. Wrote a guide covering just the ones that matter.

#aws #cloud #infrastructure #EC2 #IAM #S3 #RDS #DynamoDB #Lambda #APIGateway #CloudFront #Route53 #SQS #SNS #CloudWatch #EKS #CDN

https://heyjoshlee.medium.com/the-80-20-of-aws-the-services-that-actually-matter-13509ff90115

【AWS SQS】DLQを放置して痛い目を見た話
https://qiita.com/railgun-0402/items/f43f2eb93ca95102f0fb?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #AWS #運用 #sqs #ECS #SRE

差分記憶システムの実装: MastraとS3 Vectorsでキャラクター記憶を管理する
https://qiita.com/Syoitu/items/9f9164e9b85b44b28af9?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #AWS #S3 #sqs #Mastra #S3Vectors

なぜLambdaから直接他のLambdaを呼び出すのはアンチパターンなのか
https://qiita.com/ry-harada/items/fc1587f3f52ee6e87ef7?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #AWS #lambda #sqs #アンチパターン #stepfunctions