Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах
В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.
https://habr.com/ru/articles/978702/
#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование
Всё, что вы хотели знать о t-тесте, но боялись спросить
Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)
https://habr.com/ru/articles/969226/
#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue
#statstab #460 {permuco} permutation tests in linear models with nuisances variables
Thoughts: Supports ANOVA, ANCOVA, t-tests and more.
#permutation #randomization #ANOVA #rstats #r #pvalues #ancova #ttest
Functions to compute p-values based on permutation tests. Regression, ANOVA and ANCOVA, omnibus F-tests, marginal unilateral and bilateral t-tests are available. Several methods to handle nuisance variables are implemented (Kherad-Pajouh, S., & Renaud, O. (2010) <doi:10.1016/j.csda.2010.02.015> ; Kherad-Pajouh, S., & Renaud, O. (2014) <doi:10.1007/s00362-014-0617-3> ; Winkler, A. M., Ridgway, G. R., Webster, M. A., Smith, S. M., & Nichols, T. E. (2014) <doi:10.1016/j.neuroimage.2014.01.060>). An extension for the comparison of signals issued from experimental conditions (e.g. EEG/ERP signals) is provided. Several corrections for multiple testing are possible, including the cluster-mass statistic (Maris, E., & Oostenveld, R. (2007) <doi:10.1016/j.jneumeth.2007.03.024>) and the threshold-free cluster enhancement (Smith, S. M., & Nichols, T. E. (2009) <doi:10.1016/j.neuroimage.2008.03.061>).
“Correlation is causation” 😈
New #substack going over the maths of correlation, t-test, and linear models. https://open.substack.com/pub/mzloteanu/p/correlation-is-causation?r=3b457w&utm_campaign=post&utm_medium=web&showWelcomeOnShare=true
#statstab #424 Testing time: Carey-over effects and the (faulty) two-stage procedure
Thoughts: An interesting post by Stephen Senn on how some "solutions" in testing make matters worse.
#ttest #carryover #selection #history #design #methods
https://errorstatistics.com/2020/10/28/s-senn-testing-times-guest-post/
#statstab #406 The t-test tool
Thoughts: "Stephen Senn describes the t-test, whose centenary he has celebrated in the previous article." @StephenSenn
#ttest #statistics #history #studentsttest #Gosset
https://rss.onlinelibrary.wiley.com/doi/full/10.1111/j.1740-9713.2008.00280.x
Anfang des 20. Jahrhunderts beginnt die Karriere des Statistiker William Sealy Gosset ganz alltagspraktisch in einer Brauerei: Bei Guinness erfindet er eine Methode, um Bier objektiv zu testen. Bis heute wird seine Methode angewendet.
#Bier #GeschichtenAusDerMathematik #Statistik #TTest #WilliamSealyGosset #ZurückZumThema
Auf den ersten Blick hat Mathe nicht viel mit Bier zu tun. Dabei begann die Karriere des Statistikers William Sealy Gosset bei Guinness.
Anfang des 20. Jahrhunderts entwickelt der Brauereileiter und Statistiker William Sealy Gosset eine Methode, um das Bier der Guinness-Brauerei objektiv zu testen. Obwohl die Methode bis heute angewendet wird, kennt kaum jemand den Namen des Erfinders.
#Guinness #Mathematik #SpektrumDerWissenschaft #Statistik #Stichprobe #TTest #GeschichtenAusDerMathematik
Anfang des 20. Jahrhunderts erfindet der Statistiker William Sealy Gosset eine Methode, um das Bier der Guinness-Brauerei objektiv zu testen.
#statstab #364 Distribution of Cohen's d, p-values, and power curves for an independent two-tailed t-test
Thoughts: Useful for explaining why we use 5% alpha and what power does to p-values.
Donau2Space.de
Habr
Dr Mircea Zloteanu 🌺🌞🍃
detektor.fm 