FlinkSQL в Авито: что внутри и как нам это помогает

Привет! Меня зовут Артемий, я инженер в команде Processing и веду фичатрек по развитию FlinkSQL в Авито . Сегодня я расскажу про инструмент, который мы развиваем в Avito — FlinkSQL. Он использует потоковые данные для аналитики в реальном времени: метрики, временные срезы, A/B-расчеты, поиск аномалий. Все это на привычном SQL, чтобы команда видела картину и могла действовать сразу.

https://habr.com/ru/companies/avito/articles/959382/

#Flink #kubernetes #bigdata #k8s #operator #kubernetes_operator #flink_kubernetes_operator #Apache_Flink #DataOps #dataops_platform

Gossip-оператор для Kubernetes вместо централизованных контроллеров

Привет, Хабр! Все мы привыкли к операторам Kubernetes с их паттерном leader election. Один под становится лидером, остальные молча ждут своей участи в тени, обрабатывая события только через его призму. Надежная схема? Безусловно. Но что, если я скажу, что можно создать оператор вообще без единой точки отказа, где каждый под равен друг другу, а координация действий происходит через механизм слухов, gossip-протокол? Звучит как ересь? Возможно. Но это работает. Подробнее о реализации

https://habr.com/ru/companies/otus/articles/949384/

#golang #kubernetes #gossip_protocol #kubernetes_operator #децентрализованные_системы #отказоустойчивость #распределённые_алгоритмы

GitOps для AWS CDK

В какой-то момент в нашей команде стало очевидно: пора тащить всю инфраструктуру в Git — по-взрослому, через GitOps. Kubernetes у нас уже был, ArgoCD тоже. Осталось «дотащить» туда AWS-ресурсы, которые мы описываем с помощью AWS CDK. Идея казалась простой: есть CDK-код в Git, запускается ArgoCD, всё красиво деплоится в облако. Но реальность оказалась совсем не такой. CDK — это не YAML и даже не Terraform. Это исполняемый код. GitOps — это про декларативность и kubectl apply . CDK с этим не дружит. Ожидалось, что наверняка есть готовый Kubernetes-оператор, который запускает cdk deploy при изменении кода. Как это уже сделано для Terraform (через ArgoCD Terraform Controller), Pulumi, или хотя бы через ACK. Но после долгого ресерча выяснилось: нет ничего рабочего и production-ready . Так появилась идея — написать собственный Kubernetes-оператор, который сможет: - раз в какое-то время (или по коммиту в Git) запускать cdk deploy ; - проверять cdk diff и cdk drift для отслеживания изменений и дрифта; - удалять CloudFormation-стэк, если ресурс удалили из Git; - интегрироваться с ArgoCD и Prometheus. Получился полноценный GitOps-воркфлоу для AWS CDK — без пайплайнов, без ручных cdk deploy , без дрейфующих стэков. Под катом — расскажу, как мы подошли к проблеме, как устроен Custom Resource CdkTsStack , какие фишки мы добавили (метрики, хуки, IAM-пользователи), и почему наш подход оказался практичнее, чем существующие альтернативы вроде Terraform Operator или Pulumi.

https://habr.com/ru/articles/933148/

#kubernetes_operator #kubernetes #iaac #cdk #aws

Сравнение архитектур Service Mesh и Ambient Mesh: новый взгляд на Istio

Современные распределённые системы требуют надёжных, безопасных и масштабируемых способов управления сетевым взаимодействием между сервисами. Технологии Service Mesh, такие как Istio, предоставляют набор инструментов для решения этих задач. Недавно в экосистеме Istio появилась новая архитектура — Ambient Mesh, предлагающая альтернативный подход к реализации сетевых функций. В данной статье мы рассмотрим, чем отличаются классический Service Mesh и Ambient Mesh в контексте Istio, а также их преимущества и недостатки.

https://habr.com/ru/articles/869630/

#istio #envoyproxy #proxy #kubernetes #kubernetes_operator

Три оттенка Kubernetes Operator, или чем слушает Prometheus

Это ещё не туториал, но относительно подробный гайд о том, как компоненты Операторов взаимодействуют с Kubernetes API на уровне кода (Golang), чтобы реализовать заложенную в них логику для автоматизации вполне определённых практических задач. И да, всем известно, максимальный уровень автоматизации работы в Кубернетес ограничен лишь желанием самих разработчиков избавиться от рутины в близкой для них предметной области, потому я разделил текст на три части, чтобы вы могли без промедления промотать к наиболее актуальной, в которой узреете нечто достойное вашего внимания: 1. Кастомные ресурсы - мониторы Прометеус-оператора 2. Информеры и контроллеры 3. Сайдкар-Инжекторы с помощью аннотаций и вебхуков

https://habr.com/ru/articles/817091/

#admission_controller #devops_* #kubernetes_operator #kubernetes #kubernetes_api #admission_webhook #sidecarконтейнеры #vault_secrets_operator #prometheusoperator #golang

Validating Admission Policy: Магия кастомных политик безопасности Kubernetes

Рассмотрим безобидную, на первый взгляд, ситуацию. Вы развернули новый кубернетес кластер, подключили сетку и стораджи, накатили мониторинги и квоты. Казалось бы, осталось нарезать неймспейсы и передать их в пользование коллегам в разработке. Однако, вы в курсе, что разработчики будут запускать команды через kubectl, а значит, по-хорошему, надо накинуть хотя бы "базовые" ограничения на их команды, ведь только так можно оградить себя от большинства проблем в процессе предстоящей эксплуатации кластера. ...Тем не менее, каким бы сложным действием ни казалась настройка кластера, если у вас есть некоторый запас времени, то милости прошу в краткое рассуждение о возможностях кубернетес контроллеров и практических способах применения Validating Admission Policy. ИНСТРУКЪЦЫЯ ПО НАСТРОЙКЕ КУБЪ-КЛАСТЕРА ... шаг 998 Подключите Validating Admission Policies шаг 999 Отдайте, наконец, кластеръ в эксплуатацию ...

https://habr.com/ru/articles/811075/

#apiserver #admission_controller #admission_webhook #devops_* #kubernetes #kubernetes_operator #custom_resource_definition #crd

[Перевод] Пишем оператор Kubernetes: руководство для начинающих

Перевели туториал об основах контроллеров, операторов и CRD. В качестве практики вы можете создать кастомный оператор ConfigmapSync для синхронизации Configmap между пространствами имен. Рассказываем, как его написать и развернуть его с помощью Kubebuilder.

https://habr.com/ru/companies/slurm/articles/779986/

#kubernetes #k8s #configmap #kubernetes_operator #go #devops