Выбор индексов в базах данных для highload-систем

Индексы – это «ускорители» доступа к данным в базах данных. Правильно выбранные индексы могут многократно ускорить запросы, что особенно критично в highload-системах с большими объёмами данных и большим числом запросов. Однако за ускорение чтения приходится платить усложнением записи и дополнительным расходом памяти. В этой статье мы подробно рассмотрим, как работают разные типы индексов в реляционных СУБД, как выбирать индекс под конкретный запрос, обсудим подводные камни (например, блоат, переиндексация, избыточные индексы) и затронем индексацию в NoSQL (MongoDB, Cassandra). Завершим чеклистом, который поможет выбрать оптимальный индекс под вашу задачу.

https://habr.com/ru/articles/897766/

#postgresql #mysql #mongo #cassandra #sql #nosql #базы_данных #нагрузка #высокая_производительность #распределенные_системы

Решаем проблемы роста нагрузки в умных домах

Всем привет! Меня зовут Вадим Трегубов, я техлид бекэнда платформы умного дома в SberDevices. Я расскажу о проблемах роста нагрузки, возникающие у проектов интернета вещей и решениях, помогают их избежать. Всё началось с того, что мы хотели избавиться от vendor-lock. К 2022 году мы уже наработали свои платформенные сервисы: управление голосом, создание сценария автоматизации. Хотелось их использовать еще шире, глубже и качественнее. Плюс ко всему, мы бы имели полный цикл поддержки устройств: выпуск их на рынок, обновление прошивок, докатка и улучшение пользовательского опыта. Учитывая особенности работы с IoT, мы сформулировали требования к архитектуре... Читать дальше

https://habr.com/ru/companies/oleg-bunin/articles/896872/

#golang #iot #vendor_lock #архитектура #nats #mqtt #инциденты #tcp #github #нагрузка

Профиль ЦФТ или я его слепила из того, что было

Привет, Хабр! Меня зовут Людмила, я технический лидер команды тестирования производительности в ОТП Банке. Направление моей работы — это организация тестирования производительности разных наших систем, одна из которых – АБС ЦФТ, являющаяся нашей core-системой. В этой статье расскажу, как мы собирали профиль нагрузочного тестирования для нашей ЦФТ-системы. Казалось бы, подход для всех один, но есть нюансы.

https://habr.com/ru/companies/otpbank/articles/885874/

#цфт #тестирование #разработка #управление_разработкой #нагрузка #производительность_системы #сервера #api

Устраняем эффект шумного соседа в PostgreSQL с помощью cgroups

Если вы когда-нибудь запускали несколько экземпляров PostgreSQL или другого ПО на одной машине (виртуальной или физической), то наверняка сталкивались с эффектом шумного соседа, когда инстансы мешали друг другу работать. Так как же примерить «соседей»? У нас есть эффективный способ.

https://habr.com/ru/companies/postgrespro/articles/878844/

#cgroups_v2 #cgroups #postgresql #linux #администрирование_linuxсистем #нагрузка

Один год с GraphQL: как технология работает на длинной дистанции?

Предновогодний кодфриз — это время для полезных открытий: есть возможность поковыряться в имеющихся системах и что-нибудь исправить. В Сравни у нас много продуктов, включая сервисы подбора и покупки полиса ОСАГО, подбора кредита, образовательных курсов, онлайн-оформления ипотеки. Информация о пользователях хранится и обрабатывается в специальном центральном сервисе (Profile Service). На текущий момент сервис содержит миллионы объектов пользователей, а нагрузка в пиковые моменты там до 180 запросов в секунду. Исходная реализация Profile Service была построена на микросервисах и, как казалось нам ранее, полностью покрывала наши потребности: в плане гибкости взаимодействия с продуктами и работы с существующей нагрузкой. Изменения назрели под конец прошлого года, когда продуктовые команды стали настойчиво обращаться в команду сервиса для решения срочных задач. Здесь им регулярно требовалась помощь разработчиков — и команда Profile Service около месяца занималась только обработкой продуктовых запросов. В попытках исправить ситуацию мы пришли к идее задействовать GraphQL. Под катом рассказываем, как провели год с GraphQL, и как за это время нам удалось облегчить жизнь и технологическим, и продуктовым командам.

https://habr.com/ru/companies/sravni/articles/870030/

#graphql #api #микросервисы #нагрузка #масштабирование #валидация_данных #маппинг

Устройство для проверки источников питания постоянного тока

Хочу представить устройство, полезное для людей занимающихся электроникой, ремонтом и разработкой различных блоков питания, а также удобный способ тестирования бытовых аккумуляторных батарей. Это самодельный вариант так называемой электронной нагрузки или по другому эквивалента нагрузочного сопротивления применяемый для проверки соответствия характеристикам аккумуляторов и источников питания постоянного тока.

https://habr.com/ru/articles/855618/

#нагрузка #блок_питания #аккумулятор

Горизонты высшего образования

Из прочтения множества комментариев на публикацию «Горизонты школьного образования» прихожу к выводу о том, что тема и затронутые проблемы представляют интерес для читателей, особенно для родителей школьников. Предполагаю, что не меньший интерес существует у родителей выпускников школы и у самих выпускников к проблемам и горизонтам высшего образования. Мне самому эта тема также интересна поэтому пишу здесь. В теории рассматриваются основные социальные функции высшего образования (образование как накопление ресурсов, востребованных на рынке труда; образование как накопление классовых различий; образование как возрастной мораторий и т. д.), а затем на их основании формируются гипотезы о том, как протекает процесс образовательного выбора. Платные образовательные специальности везде служат низшим благом по сравнению с бесплатными (дороговизна обучения). Называются насущные проблемы высшего образования такие, как излишняя теоретическая направленность высшего образования (мало практики), дисбаланс «производства и потребления» специалистов, проблема финансирования и технической оснащенности вузов, повышения качества обучения студентов, качественной подготовки не только новых учебников для обучающихся, и пособий для преподавателей, но и самих педагогических кадров и их мотивации. Отдельно стоят проблемы дистанционного обучения в высшей школе.

https://habr.com/ru/articles/848764/

#образование #высшее_образование #высшее_учебное_заведение #Преподавотель #учебник #Нагрузка #реформа #министры #студенты #аспиранты

Эффективное обновление состояний в БД из сервисов потоковой обработки событий

Как хранить сложные сущности в БД? Что нужно сделать, чтобы не перезаписывать весь рекламный баннер для обновления одного лишь заголовка? Рассмотрим как минимум 5 независимых и взаимно совместимых идей для многократного снижения нагрузки на чтение и запись подобных объектов. Меня зовут Юрий Печатнов, я уже 6 лет работаю в Яндексе и занимаюсь сервисами потоковой обработки. Это большие распределенные системы, читающие сообщения из большой распределенной очереди и создающие полезный выход. Полезным выходом могут быть сообщения в другой распределенной очереди и/или обновление состояний в БД. Поговорим о том, как их эффективно обновлять.

https://habr.com/ru/companies/oleg-bunin/articles/788038/

#нагрузка #базы_данных #снижение_нагрузки_на_чтение #снижение_нагрузки_на_запись #потоковая_обработка_данных #распределенные_системы #сжатие_данных #хранение_данных #консистентность #кэш