HabrJan 25

AB-тесты и подглядывание: введение в последовательное тестирование

В AB-тестах нередко возникает желание смотреть на результат по ходу эксперимента: метрики обновляются, решения ждать долго, а если эффект уже очевиден, то зачем тянуть до конца. Но в этом месте легко допустить серьезную ошибку: регулярно пересчитывать обычное p-значение и завершать тест при первом p < 0.05. Такой подход повышает долю ложных срабатываний: иногда статистическая значимость появляется просто из-за случайных колебаний данных, даже когда реального эффекта нет. В этой статье разбираем, почему так происходит, и что с этим делают в прикладной аналитике. Покажу, как устроено групповое последовательное тестирование (group sequential): вы заранее задаете несколько контрольных точек для подглядывания, а пороги принятия решения подбираются так, чтобы общий уровень ошибки первого рода по всему процессу оставался на заданном уровне alpha. На простых формулах и наглядных графиках из симуляций сравним наивное подглядывание с корректной процедурой. А затем разберем два самых популярных набора порогов - Pocock и OBrien-Fleming: чем они отличаются, почему один вариант чаще завершает эксперимент раньше, а другой почти не дает принимать решения в начале, и как выбрать подходящий вариант под продуктовый процесс.

https://habr.com/ru/articles/988816/

#подглядывание_в_экспериментах #последовательное_тестирование #group_sequential #OBrienFleming #Pocock #ранняя_остановка_эксперимента #продуктовая_аналитика #статистика

AB-тесты и подглядывание: введение в последовательное тестирование

Когда мониторинг эксперимента начинает искажать выводы AB-тест почти всегда живет в плотном контуре принятия решений. Руководителю нужно понимать, не проседают ли ключевые показатели. Команде важно...

Хабр
spmatich vk3spm Oct 10
The Australian Parliament is awash with funds from the Gambling lobby. #Labor won’t dare touch the golden goose. But they are a bunch of career politicians, with very little apparent awareness of the damage done to ordinary Australians by gambling. Peta Murphy has been forgotten. Gambling is not part of sport and never will be, despite the best efforts of the gambling lobby. Good on #Pocock and the other independents for taking a stand. #Auspol
Voracious ReaderOct 10

The only problem with David Pocock is that I have to add a qualifying footnote to my thoughts.

I can't just go "All politicians are corrupt, self-serving, inept scumbags!" any more.

I now have to think "All politicians¹ are corrupt, self-serving, inept scumbags!"

¹except David #Pocock #PocockForPM

Show threadskuaJan 26, 2024

@HardBeingGreen

I'd rate the usual professional sports-star as a better choice than #ScottMorrison - but that's not saying much with just about anyone being a better choice than Scottie from Marketing.

#Pocock though keeps coming up with good stuff for the nation - and leverages his former-sports-star minor-celebrity status to get excellent publicity for the good stuff.

It's the responsibility of the artist to #SubvertTheDominantParadigm.
David looks to be doing #PoliticalArt.

#DavidPocock

KatelambNov 27, 2022
Hey #canberra - I’d like to thank you for voting for David #Pocock 👍
Jim PembrokeNov 8, 2022

Want to hear something "obscene"?

"The Australian Resources & Energy Employer Association whose members are recording super profits while imposing crippling energy prices on business and consumers",
Are the ones leading the charge against low paid workers getting a fair wage.

#legislation
#IndustrialRelations
#Pocock
#EnergyPrices
#FairWages
#SuperProfits
#auspol

https://t.co/UbZY7qPgBN

Paul Bongiorno: Standing up to bullies sets welcome precedent

When it comes to strident political hyperbole, few can match the Liberals’ workplace relations shadow minister Michaelia Cash.

The New Daily