Линеаризация. Увеличиваем мощность А/Б тестов с метрикой отношения

Статья о том, как линеаризация помогает оценивать А/Б тесты с метриками отношения и повышать чувствительность экспериментов. Разберём применение линеаризации на примере эксперимента со средним чеком. Построим доверительный интервал для метрики отношения. Проверим корректность работы линеаризации и покажем, в каких случаях её эффективность может снизиться. Убедимся, что CUPED увеличивает мощность критерия, и обсудим как линеаризовать ковариату.

https://habr.com/ru/companies/X5Tech/articles/1047620/

#абтесты #линеаризация #метрики_отношения #cuped #pvalue #tтест #мощность_критерия #доверительный_интервал #статистика #python

A/B-тесты на SQL с уменьшением дисперсии

Привет, Хабр! Каждому аналитику знакомо: при анализе A/B-тестов важно выжимать максимум информации из данных. Но высокая дисперсия шума часто заставляет нас наращивать выборку и затягивать эксперименты. Как ускорить получение результата и повысить чувствительность теста? Один из способов – сократить разброс метрики без изменения ее среднего. Классическая формула размера выборки показывает, что количество данных N прямо пропорционально дисперсии σ². Получается, уменьшая σ², мы автоматически уменьшаем нужный объем данных или можем детектировать меньший эффект при тех же N. Поэтому методы снижения дисперсии в A/B-тестах становятся очень востребованными. В индустрии известны разные приемы: стратификация, бутстреп, сложные байесовские тесты, и, конечно же, ковариатный подход (CUPED/CUPAC и т.д.). Мы остановимся на одном из самых простых и эффективных приемов – CUPED (Controlled-experiment Using Pre-Experiment Data). Его суть проста и понятна: перед экспериментом у каждого пользователя была определенная метрика (скажем, прошлые покупки), и мы можем использовать эту информацию, чтобы скорректировать итоговую метрику и снизить шум.

https://habr.com/ru/companies/otus/articles/945834/

#аналитика #cuped #sql

50 оттенков линейной регрессии, или почему всё, что вы знаете об A/B тестах, помещается в одно уравнение

Всем привет! A/B тестирование уже давно стало стандартом в проверке гипотез и улучшении продуктов в X5. Но, как ни странно, многие из «модных» техник, которые применяются в A/B тестировании, на самом деле, не что иное, как вариации старой доброй линейной регрессии. Основная идея здесь проста: правильное добавление новых переменных в модель помогает лучше контролировать внешние факторы и уменьшать шум в данных. Это позволяет точнее оценить эффект от воздействия и объединить разные статистические подходы, которые обычно рассматриваются отдельно. Но почему это работает? Почему всё сводится к тому, что добавление переменных помогает объединить, казалось бы, разрозненные техники? Чтобы разобраться в этом, для начала вспомним основы линейной регрессии, после чего перейдём к различным статистическим методам снижения дисперсии и покажем, как они сводятся к линейной регрессии. Затем объединим все техники вместе и на примере покажем, как они работают на практике.

https://habr.com/ru/companies/X5Tech/articles/846298/

#a/bтестирование #cuped #статистика_в_it #линейная_регрессия #стратификация #ttest #data_science #анализ_данных #python #аналитика

Теорема о разбиении регрессоров: делаем CUPED аб-тесты в один шаг

Пишу эту статью для тех, кто уже знаком с CUPED, но ищет больше понимания этого метода и взгляда на него с другой стороны. Здесь я не буду детально объяснять базовый алгоритм CUPED аб-тестирования: про это уже достаточно материала в сети. Основное внимание уделим рассмотрению метода через призму регрессий. Цель статьи - познакомить читателя с теоремой, безумно полезной для понимания работы регрессий, а главное - продемонстрировать, как с помощью этой теоремы проводить CUPED тесты не в три последовательных шага (как в базовом алгоритме), а с помощью одной регрессии.

https://habr.com/ru/articles/843826/

#Теорема_о_разбиении_регрессоров #cuped #абтесты #регрессионный_анализ #регрессия

40 años de la informática en el Estado - Del CUPED a la G.S. y T.

https://fediverse.tv/w/vhAAn66zs3Y1zYZDFCWWYd