Как в Авито обеспечивают self-service разработки и деплоя витрин

Привет! Меня зовут Николай Огоров, я Big Data-инженер в Авито . В этой статье я и мой коллега Айк Оганесян расскажем, как обеспечили пользователей инструментами, которые дают им возможность самим создавать витрины в хранилище Авито без привлечения специалистов. Эта история больше про подходы, решения и философию, которые позволяют жить в парадигме, когда потребностей на создание объектов DWH стало сильно больше, чем возможностей Data-инженеров.

https://habr.com/ru/companies/avito/articles/968596/

#dwh #selfservice #авито #avito #avitotech #витрины_данных

Atomic insert in Clickhouse

В этой статье мы поговорим о том, как реализовать поведение атомарной вставки в ClickHouse. Рассмотрим несколько вариантов, подсветим их сильные и слабые стороны, а также, когда каждый из них применять.

https://habr.com/ru/articles/969282/

#clickhouse #кликхаус #атомарность #atomic #etl #витрины_данных #insert #sql

Сокращаем трудозатраты при выводе витрин на Hadoop

Привет, друзья! Я Олег Васильев, владелец продукта Dream DE. В этой статье расскажу, как мы научились быстро и эффективно выводить витрины на Hadoop в эксплуатацию, или как мы за один квартал вывели 26 инициатив в рабочую среду силами четырёх инженеров по данным.

https://habr.com/ru/companies/sberbank/articles/954476/

#витрины_данных #hadoop #прототипы

Витрина данных: сверка с эталоном

Одним из этапов разработки витрин данных является тестирование результата и подтверждение корректности разработанного функционала. При этом организовано тестирование может быть по-разному. Определим несколько видов тестирования: 1. Технические тесты Техническими тестами легко можно проверить корректность сборки витрины. Из основных видов технических тестов можно выделить: · Дубли - проверка на наличие дублей по ключу · Разрывы - проверка на разрывы в истории · Перекосы - проверка наложения исторических записей друг на друга · Даты - проверка корректности формирования дат · NULL в ключе - проверка NULL в ключевых и обязательных к заполнению полях Подробно на этих тестах останавливаться не будем, информация по ним есть в открытом доступе. 2. Бизнес-тесты Это набор тестовых запросов, направленных на выявление ошибок в бизнес-данных. Как правило набор бизнес-тестов предоставляет владелец объекта. Бизнес-тестов может быть великое множество, здесь все зависит от вашего бизнес-домена и от конкретных требований к витрине. Приведу примеры некоторых бизнес-тестов:

https://habr.com/ru/companies/neoflex/articles/918628/

#СУБД #витрины_данных #тестирование