Отказоустойчивый кластер Angie с VRRP и Keepalived
Ранее мы рассматривали различные варианты балансировки нагрузки (HTTP, L4) с помощью Angie. Однако мы обходили стороной вопрос отказоустойчивости. Балансировщик становится единой точкой отказа для системы, и эту проблему необходимо решать. Одним из решений является использование протокола VRRP для организации отказоустойчивого кластера — его мы и разберём в этой статье.
Managed OpenSearch Yandex Cloud. Автоматизация и управление кластером
Привет, Хабр! Сегодня предлагаю обсудить Managed OpenSearch Yandex Cloud. Поговорим о том, как автоматизировать управление кластером, чтобы сократить расходы на разработку, и как улучшить качество поиска на русском языке, используя доступные в сервисе инструменты морфологии.
https://habr.com/ru/companies/reksoft/articles/974868/
#OpenSearch_Yandex_Cloud #opensearch #yandexcloud #кластер #yandexlemmer #Managed_OpenSearch
«Работает — не трогай», но с YDB можно: испытания отказоустойчивости в боевых условиях
Как YDB разворачивается «в бою», что происходит при сбоях, как работает восстановление, как ведет себя кластер под нагрузкой, с какими сюрпризами столкнется команда, которая будет ее администрировать. Весь анализ — с фокусом на уменьшение операционных затрат и повышение надежности.
#субд #тестирование #базы_знаний #ydb #отказоустойчивость #архитектура_систем #процессинг #нагрузочное_тестирование #ноды #кластер
«Работает — не трогай», но с YDB можно: испытания отказоустойчивости в боевых условиях
Как YDB разворачивается «в бою», что происходит при сбоях, как работает восстановление, как ведет себя кластер под нагрузкой, с какими сюрпризами столкнется команда, которая будет ее администрировать. Весь анализ — с фокусом на уменьшение операционных затрат и повышение надежности.
https://habr.com/ru/companies/jetinfosystems/articles/974850/
#субд #тестирование #базы_знаний #ydb #отказоустойчивость #архитектура_систем #процессинг #нагрузочное_тестирование #ноды #кластер
Масштабируемый мониторинг: Настраиваем VictoriaMetrics в HA-конфигурации с VMAgent и Grafana
Сегодня мы построим масштабируемую, отказоустойчивую систему , которая будет расти вместе с вашей инфраструктурой и не сломается в самый неподходящий момент. Вместо 3 часов дебага падающего Prometheus вы смотрите дашборд, который показывает 99.9% uptime вашего мониторинга. Это реальность с правильно настроенным стеком на основе VictoriaMetrics .
https://habr.com/ru/articles/970490/
#victoriametrics #мониторинг #kubernetes #devops #prometheus #grafana #monitoring #time_series #high_availability #кластер
Как мы запустили новый высокопроизводительный кластер: от выбора железа до прода
В современном мире облачных технологий производительность инфраструктуры напрямую влияет на качество услуг и удовлетворенность клиентов. Когда перед нами встала задача миграции клиентов Serverspace с устаревшего кластера в DataSpace на новую площадку в IXcellerate, мы решили не просто обновить оборудование, а создать решение, которое задаст новый стандарт производительности для российского рынка.
https://habr.com/ru/companies/itglobalcom/articles/966218/
#кластер #миграция_итинфраструктуры #виртуальная_машина #itpod #vstack #процессоры_intel_xeon #облачные_технологии #масштабируемость
Самодельный кластер на мини ПК
В конце 2021 года у меня появилось непреодолимое желание построить свой небольшой домашний вычислительный кластер. Практической задачи на тот момент у меня не было (и до сих пор не появилось), так что подходил исключительно с исследовательским интересом. Вообще, любой домашний кластер можно использовать ради экспериментов, для домашнего хостинга или просто для кайфа от обладания им — мой случай именно третий. Когда начал изучать чужой опыт, быстро понял, что все строят кластеры на Raspberry Pi. Тогда цены на «малинки» только росли и уже кусались, поэтому решил искать другие варианты. Вариант с полноценным сервером я сразу отбросил — слишком дорого, громоздко, шумно, и энергопотребление конское, плюс мощности были бы с большим запасом, а мне это было не нужно. Понял, что мини ПК, именно то, что мне требуется.
Обзор UDTF в PySpark
Привет, Хабр! Сегодня разберём фичу из PySpark — UDTF . Если раньше мы писали UDF и UDAF, то UDTF — это про функцию, которая запускается в секции FROM запроса и возвращает как бы несколько стро» для каждой входной записи Звучит круто. UDTFs пригодятся, когда на один входной объект нужно получить множество выходных строк. Простой пример: у нас есть строка текста и мы хотим разделить её на слова так, чтобы каждое слово вышло отдельной строкой. Со стандартным UDF такое не сделать (он возвращает одно значение, например конкатенацию или длину). Но UDTF может делать цикл yield внутри и выдавать сколько угодно строк. Итак, приступим к делу.
https://habr.com/ru/companies/otus/articles/942148/
#python #матричное_умножение #big_data #распределённые_вычисления #кластер #производительность
Развёртывание боевого кластера Cassandra. Часть 3
Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой и второй частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2.Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 5. Настройка топологии кластера 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста Двинемся дальше?
https://habr.com/ru/articles/940268/
#cassandra #базы_данных #инфраструктура #highload #топология #кластер #репликация #консистентность #балансировка_нагрузки #devops
Как мы реализовали георезервирование инфраструктуры для системы видеоконференций: опыт, ошибки, выводы
Что общего у систем видеоконференцсвязи (ВКС), финансовых транзакций и авиаперевозок? Все они должны работать всегда, когда нужны людям. Сегодня расскажем, как мы строили георезервирование для инфраструктуры, что пошло не так и какие выводы сделали. Перед вами — true story, как мы помогаем одному из наших заказчиков сопровождать инфраструктуру большого критичного сервиса. Привет, Хабр! Это Никита Турцаков и Алексей Кузьмин из К2. В этой статье расскажем: • зачем и для чего нужно георезервирование для системы ВКС; • как мы подошли к выбору архитектуры; • с чем столкнулись при реализации; • и что бы сделали по-другому, если бы начинали сейчас. Готовьтесь: будет много практики и немного боли — потому что как без неё в масштабных и амбициозных задачах.
https://habr.com/ru/companies/k2tech/articles/932106/
#облачные_сервисы #инфраструктура #облачные_хранилища #цод #георезервирование #кластер #базы_данных #архитектура #consul #postgresql
Что общего у систем видеоконференцсвязи (ВКС), финансовых транзакций и авиаперевозок? Все они должны работать всегда, когда нужны людям. Сегодня расскажем, как мы реализовывали георезервирование для...
Habr
Habr 25+
