У нас было 10k метрик, 500 А/В-экспериментов и 500kk p-value каждый день…

Всем привет! Меня зовут Данила Леньков, я руковожу платформой A/B-экспериментов Trisigma в Авито . За 7 лет мы прошли путь от небольшой внутренней команды из трёх человек до полноценного технологического продукта, который теперь доступен на B2B-рынке. В этой статье я рассказываю о четырёх ключевых проблемах, с которыми мы столкнулись на пути от десятка экспериментов в год до четырёх тысяч. Это реальный опыт масштабирования, который может быть полезен любой компании, серьезно относящейся к принятию решений на основе данных.

https://habr.com/ru/companies/avito/articles/947358/

#авито #trisigma #тестирование #abтестирование #эксперименты #b2bсервисы #анализ_данных #принятие_решений #data_driven

Throughput: как научиться перестать гадать сроки и начать их предсказывать через симуляцию Monte-Carlo

Как использовать метрику потока Throughput (динамика за значимые периоды времени, насколько она вариативна, кластеризация на типы работы) вместе с симуляцией Monte Carlo, для реалистичных и обновляемых прогнозов. Разбираем метрику через обслуживание в пабе в пятничный вечер в сравнении с АйТи-командой. Пост максимально практический, с паттернами и примерами. Цель не показать метрику и прогнозирование на его основе его как ультимативный silver-bullet, а дать понимание что можно и так. Тема довольно актуальная, так как сейчас в США и Европе расцвет прогнозирования на основе именно метрик потока и появляется много плагинов с Монте-Карло (но не все из них доступны в РФ). Разобраться как точнее прогнозировать

https://habr.com/ru/articles/940882/

#kanban #lean #agile #data_driven #forecasting #прогнозирование #метрики_процесса #управление_проектами #эффективность #продукт_менеджмент

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Мифы о байесовском А/Б тестировании

Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

https://habr.com/ru/companies/X5Tech/articles/900032/

#abтестирование #ab_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез #байесовский_подход #bayesian

Большая подборка авторских каналов по аналитике 2024

Я провел большую работу и собрал для вас 17 авторских тг-каналов по аналитике данных , которые постят свежий, интересный и полезный контент. Без рекламы (ну или почти без нее), с разумным балансом экспертного контента/лайфстайла и интересной подачей. Короче, реальный свежачок, а не «очередная подборка». Кстати, меня зовут Алексанян Андрон 👋🏻 Я основатель Simulative , где мы обучаем крутых аналитиков данных на кейсах из реального бизнеса. И у меня тоже есть авторский канал по аналитике!

https://habr.com/ru/articles/869116/

#аналитика #BI #data_science #дашборды #метрики #python #sql #abтестирование #data_mining #data_driven

Увеличиваем размер выборки и прокрашиваем серые метрики: неочевидная ошибка при проведении А/B — тестов

Иногда мы настолько бываем увлечены способами увеличения мощности тестов, снижения дисперсии, уменьшения длительности теста, что забываем смотреть на данные при использовании стандартного критерия Стьюдента. В этой статье я постараюсь простым языком рассказать о последствиях, к которым может привести слепой запуск A/B-тестов без предварительного А/А-тестирования.

https://habr.com/ru/articles/859088/

#a/bтестирование #a/btesting #data_science #data_driven #анализ_данных #проверка_гипотез #статистика

Что такое Data Driven подход

В современном мире бизнес сталкивается с необходимостью постоянно принимать решения. От их качества зависит не только успех отдельных проектов, но и будущее всей компании. В этой статье мы разберём основные подходы к принятию решений в бизнесе и узнаем, почему компании всё чаще строят свою работу на данных. А ещё расскажу о роли, без которой data-driven подход попросту невозможен – о роли дата-инженера.

https://habr.com/ru/articles/856920/

#data_driven #data_engineering #data_engineer #дата_инженер #дата_инжиниринг #принятие_решение_в_компаниях #data_governance #аналитика #аналитика_данных #рост_компании

Уже сложно определить фундаментальную разницу между IT в промышленности и Интернет

Поговорим об IT в промышленности с архитектором решений из команды Технологической Платформы НЛМК. Александр Лищук поделится своим мнением по вопросам, которые интересуют многих инженеров, решающих, стоит ли выбрать в качестве направления развития IT в промышленности: ● типичный стек разработки в промышленности ● дресс-код и субординация ● развитие IT в реальном секторе

https://habr.com/ru/companies/oleg-bunin/articles/849290/

#indastrial #промышленная_революция_40 #devsecops #data_driven #iot #edge_computing #промышленные_кейсы #стек_в_промышленности #keydb #hr_в_it

А/Б тестирование: множественная проверка гипотез

Хабр, привет! Сегодня обсудим, как проверять много гипотез в одном эксперименте. Разберёмся, почему растут вероятности ошибок. Познакомимся с метриками множественного тестирования и поправками, которые позволяют их контролировать. Узнаем, как оценить необходимый размер групп и повысить чувствительность.

https://habr.com/ru/companies/X5Tech/articles/842426/

#a/bтестирование #a/btesting #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез

От «дата-ада» к знаку качества. Как в М.Видео-Эльдорадо работа с качеством данных улучшает результаты в бизнесе

Каждый бизнес-процесс, ИТ-система, цифровой продукт — является и потребителем, и генератором данных. Для успешного развития бизнеса важно качество этих данных. В недавней статье мы поделились тем как у нас зарождалась практика управления данными и о базовых понятиях в этой сфере. В этом материале мы сделаем упор на ту пользу, которую принесло компании данное направление и какие бизнес-задачи закрывает созданный инструмент. Но, начнем с небольшого погружения для того, чтобы напомнить, как мы пришли к пониманию необходимости регламентирования управления качеством данных.

https://habr.com/ru/companies/mvideo/articles/827876/

#мвидео #эльдорадо #качество_данных #управление_данными #data_driven #data_driven_testing #data_quality #качество_данных_(data_quality) #разработка #данные