Когда A/B-тестирование превращается в подбрасывание монетки

Представим ситуацию. Маркетолог работает в крупной компании с собственной A/B-платформой. Каждый квартал он должен запускать несколько новых маркетинговых кампаний, и подтверждать их эффективность с помощью экспериментов. Ресурса аналитика всегда не хватает на подобные задачи. А A/B-платформа позиционируются как инструмент, доступный в том числе маркетологам и проектным менеджерам. В итоге, наш герой решает запустить эксперимент самостоятельно. Гипотеза . «Новый лендинг увеличивает среднюю выручку на пользователя (ARPU) в выбранном сегменте». Спустя несколько недель маркетолог открывает AB-платформу, чтобы подвести итоги эксперимента. Видит, что пользователи распределены по группам примерно равное: 9 936 в тесте и 10 068 в контроле. Результат радует глаз: effect = 18.28% . "Какой эффект! Вот только чувствительности для "прокраса" немного не хватило", - думает он, - "глядя на p-value = 0.1179 ". Но можно ли принимать решения на основе этих данных? Давайте разберемся, проведя анализ вероятных искажений.

https://habr.com/ru/articles/1002828/

#аналитика #выбросы #эксперимент #маркетинг #arpu

Когда A/B-тестирование превращается в подбрасывание монетки

Представим ситуацию. Маркетолог работает в крупной компании с собственной A/B-платформой. Каждый квартал он должен запускать несколько новых маркетинговых кампаний, и подтверждать их эффективность с...

Хабр

ChatGPT 광고 수익 5조원 시작, 2029년 200조 전망의 현실성

OpenAI ChatGPT 광고 도입 후 2026년 52억 달러에서 2029년 광고 수익 700억 달러까지 성장 가능성을 Google, Meta와 ARPU 비교로 분석합니다.

https://aisparkup.com/posts/8440

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до состояния, когда экспериментов много, а уверенности в решениях мало. Типовые симптомы: тест идет «пока не станет понятно»; MDE забывают зафиксировать (или берут...

Хабр

Suy giảm người dùng, ARPU tăng nhưng doanh thu giảm. Liệu ARPU có phải thước đo tăng trưởng thật sự? Chỉ số nào mới đáng tin? #Tech #KinhDoanh #ARPU #Startup #GrowthMetrics

https://www.reddit.com/r/SaaS/comments/1pnsjlb/is_arpu_quietly_pushing_teams_to_make_bad/

"Liệu ARPU có đang âm thầm khiến các nhóm đưa ra quyết định sai lầm? Nếu cơ sở người dùng giảm, ARPU sẽ tăng dù doanh thu sụt giảm. Vì sao ARPU lại được coi là tiêu chí tăng trưởng? Người ta thực tế đang theo dõi gì thay thế? #ARPU #BusinessMetrics #SaaS #TieuChiKinhDoanh #CongNghe"

https://www.reddit.com/r/SaaS/comments/1pnsjlb/is_arpu_quietly_pushing_teams_to_make_bad/

Một doanh nghiệp đã thực hiện 6 thử nghiệm giá sản phẩm. Hầu hết thất bại, nhưng một thử nghiệm (giá dựa trên mức sử dụng) đã tăng gấp đôi doanh thu trung bình mỗi người dùng (ARPU). Tổng ARPU tăng khoảng 52%. Bài học: cần thử nghiệm có hệ thống, sẵn sàng thất bại và học hỏi từ đó.

#PricingStrategy #BusinessGrowth #Experimentation #ARPU #ChiếnLượcGiá #TăngTrưởngKinhDoanh #ThửNghiệm

https://www.reddit.com/r/SaaS/comments/1pfmuu2/ran_6_pricing_experiments_this_year_most_failed/

Cancellations of #PayTV subscription plans with #Disney, #Hulu & #ESPN shot up 436% late last month as conservative corporate appeasers #Indefinately suspended late night host #JimmyKimmel for commenting on Amurica's latest fascination with deifying the #RWNJ rhetoric of #CharlieKirk .

The 1.7 million #customers that reached out to cancel their autobilled plans will deprive the network of at least $25 million a month in fees, and while some say harrumph, that is barely 1% of Disney's global numbers, trust me, any TV network that loses over a million #viewers in a day has something to worry about. Basic math reveals that by the end of this year, that #cancelled #subscription #revenue adds up quick, and will total at least $100 million in dough that Disney is not laughing about collecting anymore in #fiscal 2026.

Disney's numbers in the #streaming game were not looking particularly good to begin with, and at the peak of their subscription #viewership with over 235 million subscriptions worldwide back in 2022, shortly after the launch of its streaming service #DisneyPlus, the company still had quarterly losses of $1.5 Billion... Shortly after trying a big discount to lure new subscribers, Disney then announced in 2023 that there was over 4 million #cancellations of its streaming services when price rose. It was noted that despite having high launch numbers, they still made less than half as much money per subscriber as #Netflix who averaged $10.80 in revenue per subscriber at that time.

In their last earnings report (before cutting off this particular data stream to investors), Disney published that their #ARPU had grown ( avg revenue per user) in US to around $8 per user. Overall ARPU remains flat or has shrunk due to, as one Disney exec said during Q2 earnings, “lower advertising revenue.”

According to reporter Marisa Kabas, founder of The Handbasket, cancellations spiked between Sept. 17 and 23 across Disney+, Hulu and ESPN. Kabas wrote, “Disney saw more than 1.7 million total paid streaming cancellations during the week of 9/17/2025-9/23/2025 at Disney+, Hulu and ESPN.”

Kabas added that the figure represented a 436% increase compared with usual losses during the same period. Disney was also preparing a subscription price increase, which was only formally announced shortly after Kimmel’s reinstatement. Her source suggested that Disney rushed the show’s return to soften the fallout ahead of the programming #pricehikes.

Though the Kimmel show is now back on air, it is reportedly uncertain how many of those cancelled subscribers will actually return.

https://www.ndtvprofit.com/world/disney-loses-17-million-streaming-subscribers-after-jimmy-kimmel-suspension-report

Главная страница: как не изобретать велосипед

"Покажи мне главную и я скажу какая стратегия у компании" Главная — отражение основной ценности и бизнес модели продукта. На ней пользователь либо делает шаг к конверсии, либо уходит навсегда. Рассмотрим 5 основных рынков Всем привет! Я — Матвеев Денис, Product Lead крупнейшего синего маркетплейса. Отвечаю за навигацию, плитку, ЛК и in-app push. Когда год назад ко мне перешла и главная страница, мы быстро вывели её «в деньги» и я заметил повторяющийся паттерн: независимо от индустрии сильные команды приходят к схожей структуре. Чтобы не опираться на интуицию, я пообщался с коллегами из других компаний (маркетплейсы, классифайды, недвижимость) и разобрал 60+ популярных приложений на разных рынках.Ниже — что такое главная для бизнеса, какие паттерны работают и где отход от них бьёт по метрикам. 1. Какие бывают главные страницы и какую цель они решают для бизнеса Цель бизнеса: привлекать трафик для продажи товаров/услуг, расширять ассортимент закрываемых работ пользователей Целевое действие: продажа товаров/услуг Компоненты главной: — товары (закрытие основной потребности) — сервисы (распределение трафика) — баннеры (монетизация) — распродажи (привлечение/удержание)

https://habr.com/ru/articles/946932/

#главная_страница #продуктовый_дизайн #бизнесмодель #конверсия #retention #arpu #продуктовые_метрики #ab_тестирование #персонализация #маркетплейсы

Главная страница: как не изобретать велосипед

"Покажи мне главную и я скажу какая стратегия у компании" Главная — отражение основной ценности и бизнес модели продукта. На ней пользователь либо делает шаг к конверсии, либо уходит навсегда....

Хабр