D7 — не показатель: ищем правду

Привет, Хабр! Сегодня поговорим про ретеншн — ту самую метрику, от которой часто пляшут все продуктовые команды. Вы знаете: «вернулся через 7 дней» (D7) — и сказано, что мы класс Но на деле класс ломается, как только продукт усложняется. В этой статье рассмотрим, почему классический D7 retention не работает, как построить настоящие кривые удержания через когорты, в чём разница между recurring vs one-shot поведением, какие есть альтернативные метрики и сравним три метода.

https://habr.com/ru/companies/otus/articles/905068/

#аналитика #когорты #Retention #анализ_данных #Метрики_удержания #Модели_удержания #ab_тестирование #рекомендательные_системы

5 вопросов на собеседовании про A/B-тестирование в SQL

Привет, Хабр! Сегодня рассмотрим 5 вопросов на собеседовании про A/B-тестирование в SQL. И начнем с первого – как посчитать конверсии и относительную разницу между группами A и B?

https://habr.com/ru/companies/otus/articles/893988/

#ab #sql #ab_тестирование

Как и для чего мы делали симуляцию курьерской доставки

С самого начала разработки курьерки мы генерировали много идей по улучшению алгоритмов. Мы не стеснялись выкатывать кучу фичей и проверять их работоспособность А/Б тестами. Не было ни дня, когда у нас не крутились эксперименты в продакшене. Что-то мы выкидывали, что-то оставляли, но не хардкодили, чтобы иметь гибкость. Страна большая и у каждого региона свои особенности, которые влияют на плотность заказов, логистику и потребность в курьерах. Поэтому наборы фичей и их значения различаются. Мы поняли, как отдельная фича влияет на продуктовые метрики, но как набор фичей в совокупности влияет на итоговый результат? Запускать А/Б тесты для каждого набора фичей слишком долго и затратно, ведь команде надо создавать и тестировать новые фичи. Но найти наилучшие комбинации фичей для разных регионов и городов быстро с наименьшими затратами ресурсов команды — было жизненно необходимо. Поэтому мы создали копию реального мира, чтобы внутри неё пробовать самые смелые идеи.

https://habr.com/ru/companies/x5digital/articles/876406/

#Симуляция #Backend #Nodejs #JavaScript #Курьерская_доставка #ecom #Продуктовые_гипотезы #ab_тестирование