Мифы о байесовском А/Б тестировании

Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

https://habr.com/ru/companies/X5Tech/articles/900032/

#abтестирование #ab_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез #байесовский_подход #bayesian

Большая подборка авторских каналов по аналитике 2024

Я провел большую работу и собрал для вас 17 авторских тг-каналов по аналитике данных , которые постят свежий, интересный и полезный контент. Без рекламы (ну или почти без нее), с разумным балансом экспертного контента/лайфстайла и интересной подачей. Короче, реальный свежачок, а не «очередная подборка». Кстати, меня зовут Алексанян Андрон 👋🏻 Я основатель Simulative , где мы обучаем крутых аналитиков данных на кейсах из реального бизнеса. И у меня тоже есть авторский канал по аналитике!

https://habr.com/ru/articles/869116/

#аналитика #BI #data_science #дашборды #метрики #python #sql #abтестирование #data_mining #data_driven

Увеличиваем размер выборки и прокрашиваем серые метрики: неочевидная ошибка при проведении А/B — тестов

Иногда мы настолько бываем увлечены способами увеличения мощности тестов, снижения дисперсии, уменьшения длительности теста, что забываем смотреть на данные при использовании стандартного критерия Стьюдента. В этой статье я постараюсь простым языком рассказать о последствиях, к которым может привести слепой запуск A/B-тестов без предварительного А/А-тестирования.

https://habr.com/ru/articles/859088/

#a/bтестирование #a/btesting #data_science #data_driven #анализ_данных #проверка_гипотез #статистика

Что такое Data Driven подход

В современном мире бизнес сталкивается с необходимостью постоянно принимать решения. От их качества зависит не только успех отдельных проектов, но и будущее всей компании. В этой статье мы разберём основные подходы к принятию решений в бизнесе и узнаем, почему компании всё чаще строят свою работу на данных. А ещё расскажу о роли, без которой data-driven подход попросту невозможен – о роли дата-инженера.

https://habr.com/ru/articles/856920/

#data_driven #data_engineering #data_engineer #дата_инженер #дата_инжиниринг #принятие_решение_в_компаниях #data_governance #аналитика #аналитика_данных #рост_компании

Уже сложно определить фундаментальную разницу между IT в промышленности и Интернет

Поговорим об IT в промышленности с архитектором решений из команды Технологической Платформы НЛМК. Александр Лищук поделится своим мнением по вопросам, которые интересуют многих инженеров, решающих, стоит ли выбрать в качестве направления развития IT в промышленности: ● типичный стек разработки в промышленности ● дресс-код и субординация ● развитие IT в реальном секторе

https://habr.com/ru/companies/oleg-bunin/articles/849290/

#indastrial #промышленная_революция_40 #devsecops #data_driven #iot #edge_computing #промышленные_кейсы #стек_в_промышленности #keydb #hr_в_it

А/Б тестирование: множественная проверка гипотез

Хабр, привет! Сегодня обсудим, как проверять много гипотез в одном эксперименте. Разберёмся, почему растут вероятности ошибок. Познакомимся с метриками множественного тестирования и поправками, которые позволяют их контролировать. Узнаем, как оценить необходимый размер групп и повысить чувствительность.

https://habr.com/ru/companies/X5Tech/articles/842426/

#a/bтестирование #a/btesting #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез

От «дата-ада» к знаку качества. Как в М.Видео-Эльдорадо работа с качеством данных улучшает результаты в бизнесе

Каждый бизнес-процесс, ИТ-система, цифровой продукт — является и потребителем, и генератором данных. Для успешного развития бизнеса важно качество этих данных. В недавней статье мы поделились тем как у нас зарождалась практика управления данными и о базовых понятиях в этой сфере. В этом материале мы сделаем упор на ту пользу, которую принесло компании данное направление и какие бизнес-задачи закрывает созданный инструмент. Но, начнем с небольшого погружения для того, чтобы напомнить, как мы пришли к пониманию необходимости регламентирования управления качеством данных.

https://habr.com/ru/companies/mvideo/articles/827876/

#мвидео #эльдорадо #качество_данных #управление_данными #data_driven #data_driven_testing #data_quality #качество_данных_(data_quality) #разработка #данные

А/Б тестирование: CUPED vs Stratification

CUPED и стратификация — два метода повышения чувствительности А/Б тестов. При первом знакомстве с ними часто возникают вопросы. В чём их отличие? Кто из них лучше? Чем пользоваться? Разберёмся с этими вопросами на примерах.

https://habr.com/ru/companies/X5Tech/articles/826488/

#a/bтестирование #a/b_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез

Про обязательность поправки на множественные сравнения, которая часто игнорируется адептами Data Driven методов

Когда проводится один статистический тест на значимость различий, всегда есть шанс (Ошибка первого рода = 5%, на уровне значимости p=0.05) получить ложный положительный результат случайно. Эта ошибка означает, что мы можем ложно утверждать, что значимое различие существует, при том, что в реальности этой значимости нет. Когда проводится несколько однотипных тестов подряд, каждый из них имеет 5% шанс на ложный положительный результат. Если коррекция отсутствует, то вероятность, что хотя бы один из этих тестов даст ложный положительный результат, быстро возрастает. Предположим, что делается 20 однотипных тестов. Вероятность получить ложный положительный результат равна 1 - (1 - 0.05)^ 20 ≈ 64%. Как контролировать ошибки читать далее

https://habr.com/ru/articles/818287/

#значимые_различия #статистический_тест #множественные_сравнения #ошибки_тестирования #data_driven #исследования_аудитории #исследования_пользователей #исследование #медицина #нпс

Сотни миллионов рублей: посчитали, сколько тратит бизнес на российские BI-решения

Из чего складывается стоимость BI-решения? Сколько стоят отечественные BI-системы? Достоверные ответы на эти вопросы вы не нагуглите просто так. Да и для заказчиков ценник часто становится сюрпризом, уже не говоря о полной стоимости владения BI-системами. Мы решили подсчитать, во сколько же на самом деле обходится BI для российских компаний, и провели небольшое исследование. О результатах которого я и рассказываю в этой статье (плюс провожу небольшой опрос). Читать статью и пройти опрос

https://habr.com/ru/companies/sapiens_solutions/articles/801977/

#bi #business_intelligence #аналитика_данных #визуализация_данных #анализ_данных #data_driven #бизнес #цены