Проксируй это: как ускорить A/B-тесты и не попасть в ловушку метрик

В A/B-тестах хотелось бы смотреть на главную метрику, ту самую North Star, которая показывает успех продукта. Но на практике она почти всегда медленная, шумная и бесполезная для быстрых решений. Например, вы запускаете тест новой системы рекомендаций, ждёте неделю, две, а LifeTime Value не двигается. И непонятно, это потому что нет результата или ещё рано делать выводы. Чтобы не тратить месяцы на догадки, можно воспользоваться прокси-метриками — быстрыми, чувствительными показателями, которые реагируют раньше, чем бизнес-метрика «успевает моргнуть». Проблема в том, что это решение часто требует дополнительные ресурсы. Привет, Хабр! Меня зовут Артем Ерохин, и я Data Scientist в X5 Tech. Я прочитал современные исследования, пропустил их через свой опыт и собрал концентрат подходов к работе с прокси-метриками. Постараюсь передать только суть. Разберемся, зачем нужны прокси, как с ними не выстрелить себе в ногу, где заканчивается польза и начинается самообман.

https://habr.com/ru/companies/X5Tech/articles/974372/

#ab_тестирование #проксиметрики #эксперименты #причинноследственный_анализ #causal_inference #анализ_данных #product_analytics #surrogate_models #north_star_metric #корреляция

Должен ли продуктовый аналитик быть частью продуктовой команды?

В данном посте я постараюсь не делать выводов, а лишь хочу подсветить и обсудить моменты, требующие внимания. Начну с проблемы: мой опыт работы в разных отраслях, от небольших геймдев компаний до крупных IT-гигантов, показал, что продуктовые аналитики (далее - аналитик(и)), работая в команде, подвержены когнитивному искажению, когда хотят выдать желаемое за действительное. В таком случае статистика превращается в одну из форм лжи. Особенно это усугубляется, если премия (или карьерный рост) завязаны на KR команды. И вот вопрос: как защититься от этого «натягивания совы на глобус»? Можно поставить над аналитиком валидатора в виде лида, но, по сути, это выглядит так, будто одну и ту же работу выполняют два человека, причем тот, кто валидирует, обычно делает это поверхностно - из-за нехватки времени и тому подобного. От подобного, как будто, защищает модель, когда аналитики объединяются в функциональную команду и выступают в роли консультантов для бизнеса. Но и здесь есть проблемы: если отвязать аналитика от KR команды, то какой будет его мотивация? Есть риск, что аналитика таких команд будет представлять собой кучу «воды» без четких предложений бизнесу. Далее затрону тему эксклюзивных знаний о конкретной части продукта, в которой работает аналитик. Или, как еще говорят, что аналитик обладает глубокими доменными знаниями. На самом деле это очень похоже на создание информационной асимметрии (bus factor). В таком случае я задаю встречный вопрос: «Если нюансы твоей работы задокументировать, останется ли актуальным утверждение о глубоких доменных знаниях?» К чему я это веду? SQL и Python (или любой другой ЯП) ведь останутся прежними; скорее всего, поменяется лишь метрика. А что такое метрика? Это некая математическая формула, зная которую, любой аналитик (почти любой) сможет ее рассчитать. От подобного, опять же, защищает концепция консультантов для бизнеса, которые для удобства своей работы будут создавать и поддерживать подробную документацию. Дополнительный плюс такого подхода — это отказ от изобретения велосипедов, а также обмен экспертизой между аналитиками.

https://habr.com/ru/articles/973970/

#product_analytics

Куда исчезают пользователи: современные фреймворки аналитики retention в 2025 году

В 2025 году retention снова стал главной метрикой рынка. Трафик дорожает, конкуренция растет, AI-продукты выходят быстрее, чем я успеваю их тестировать, — и единственный способ выжить в этой гонке: удерживать пользователей, а не просто радоваться скачкам трафика по праздникам. Но есть проблема: большинство команд все еще думают, что retention — это «график, на который мы будем смотреть, пока CFO грустит».

https://habr.com/ru/articles/973922/

#retention #product_analytics #user_behavior #cohort_analysis #ai #data_analysis #llm #customer_journey_map #metrics #product

Если данные — продукт, то какова цена плохого UX? Предлагаю систему оценок

В работе над продуктом данные — это главный помощник. С их помощью принимают решения на всех этапах — от создания до развития. Вместо того чтобы гадать, как поступит пользователь, смотрят на реальные факты: как люди пользуются продуктом и какие результаты это даёт бизнесу. А что на счет самих данных, если мы их рассматриваем как продукт? Как будем оценивать их ценность, как будем планировать их развитие? В статье предлагаю экспериментальный набор UX‑метрик: они помогут увидеть, где ваш продукт реально теряет пользу для пользователя. Методика готова к тестированию — цифр пока нет, но каркас для расчётов уже работает. К метрикам

https://habr.com/ru/articles/970582/

#sql #visualization #metrics #product_analytics #data_engineering #analysis #анализ_данных #датаинженер #ux #хранилище_данных

Система метрик, или как навести порядок в голове бизнеса

Зачем нужен фреймворк метрик? Общий ответ – для структуризации и порядка в головах бизнеса. В своей работе в разных командах я не раз сталкивалась с желанием стейкхолдеров отслеживать все метрики сразу, хаотично, без четкого понимания, зачем это нужно. А также с последующими попытками расписать и перечислить показатели, которые им кажутся важными, и побежать к аналитикам со срочными запросом всё посчитать и добавить на дашборд. В результате часто получалась монструозная картинка, не позволяющая определиться с фокусами и, как следствие, не удовлетворяющая самих стейкхолдеров. Ну, а если говорить более профессиональным языком, то система метрик может быть вам нужна в следующих случаях...

https://habr.com/ru/articles/938912/

#продуктовая_аналитика #управление_продуктом #система_метрик #product_management #growth #метрики #product_analytics #гипотезы #дерево_метрик #бизнес

Как разработчик систему продуктовой аналитики Posthog подключал

Когда наш продукт (протокол рекуррентных криптоплатежей на NodeJs, React) вырос, возникла необходимость подключить систему продуктовой аналитики, чтобы понимать, что и как делают наши пользователи. В статье хочу рассказать об опыте подключения и использования системы аналитики Posthog . Думаю, статья будет полезна разработчикам, впервые подключающим аналитику, техдиректорам и менеджерам для оценки потенциальных сроков и рисков.

https://habr.com/ru/articles/831428/

#posthog #analytics #аналитика #продуктовая_аналитика #product_analytics