"It's extremely important to realise that a p-value is the probability of observing data like thas observed or more extreme, assuming the hypothesis is correct. It is not the probability of the hypothesis being true, given the data." - Lyons, arXiv:1301.1273

#Science #Physics #Hypothesis #PValue #Probability #Statistics

У вас скорее всего не получится сделать статистически обоснованный подбор личных жизненных привычек и БАДов

Допустим, вас не устраивает ваше качество сна. Вы перестали делать очевидно вредные вещи (убрали кофе на ночь), и сон улучшился, но хотелось бы поработать над ним ещё. Коллега по работе даёт вам смесь трав со зверобоем и лавандой. Вы пробуете пить его на ночь вместо кофе, и иногда сон действительно становится глубже. Но иногда нет. Вы готовы экспериментировать, но как бы проверить, действительно ли травы работают или это просто случайный разброс? Или допустим, вы не очень довольны вашей продуктивностью на работе. По заветам из "Atomic Habits" и книг по эргономике вы внедрили несколько полезных микропривычек. Но что делать, когда низковисящие фрукты закончились? Время ограничено - всего, что кто-то называет полезным, не сделать. Некоторые привычки ещё и взаимоисключающие: невозможно за обедом одновременно и общаться с кем-то и сидеть в одиночестве в тишине. Или например, вы хотите достичь более хороших показателей на рыболовном поприще... вы поняли идею. "Не недооценивайте силу малых вещей, взятых в большом количестве", - мысль мудрая, но как бы понять, какие именно малые вещи действуют конкретно в вашей ситуации? Если вы проходили курс статистики, то у вас в голове есть набросок ответа. Выделить целевую метрику, собрать историю данных, затем собрать набор данных после выбранного вмешательства, сравнить средние значения метрики до и после - и готов научно обоснованный ответ. Проблема в том, что если ввязаться в подобный проект без основательного плана, вы в итоге окажетесь с ворохом бесполезных цифр в таблице. Почему именно эта затея не для слабых духом мне бы и хотелось рассказать в этой статье.

https://habr.com/ru/articles/1009762/

#статистика #бад #gtd #привычки #pvalue #сбор_данных #эксперимент

#statstab #487 More than meets the ITT: A guide for anticipating and investigating nonsignificant results in survey experiments

Thoughts: I see a lot of papers that make at least one of the 7 errors for "no effect".

#survey #nhst #nulleffects #nonsignificant #pvalue #power

https://doi.org/10.1017/XPS.2024.1

#statstab #468 Confidence Distribution, the Frequentist Distribution Estimator of a Parameter: A Review

Thoughts: Frequentist stats must move beyond point and interval estimators, and adopt "distribution estimators".

#concurve #fisher #fiducial #pvalue

https://onlinelibrary.wiley.com/doi/full/10.1111/insr.12000

#statstab #463 One-and-a-half sided test

Thoughts: Alberson has a more different take on the issues from #461 and #462: human behaviour.

(excerpt from the book)

#pvalue #onesided #NHST #directional #hypothesis #testing #logic

https://www.routledge.com/Statistics-As-Principled-Argument/Abelson/p/book/9780805805284

#statstab #462 The paradox of one-sided vs. two-sided tests of significance

Thoughts: A solution to Royall's paradox from #461. The "null" is not one thing.

#pvalue #Royall #paradox #onesided #nhst #null #hypothesis #logic

https://www.onesided.org/articles/the-paradox-of-one-sided-v-two-sided-tests-of-significance.php

#statstab #461 The One-Sided P-Value Paradox

Thoughts: "I have concluded the stronger proposition, probability of heads > ½, but I cannot conclude the weaker proposition, probability of heads > ½ or < ½"

#onetailed #pvalue #logic #Royall #paradox

https://alexanderetz.com/2015/04/20/pvalue-para/

#statstab #458 There is still only one test

Thoughts: Downey make a good point that all/any testing ensemble does essentially the same thing.

#randomization #testing #nhst #pvalue

https://allendowney.blogspot.com/2016/06/there-is-still-only-one-test.html

#statstab #469 Significance tests, p-values, and falsificationism

Thoughts: An "interesting" thread of philosophy of science and debating.

#discussion #debate #pvalue #falsification #nhst

https://discourse.datamethods.org/t/significance-tests-p-values-and-falsificationism/

Время выполнения заданий в немодерируемых UX тестах: как измерить и проверить?

Всем привет! Меня зовут Ульяна Айкович и я исследователь БКС Мир Инвестиций. Сегодня я расскажу, как мы можем глубже анализировать время выполнения заданий, а также как измерить группы респондентов в немодерируемых UX тестах. В данной статье я разберу не только медиану и процентили для оценки времени, но и критерий Манна–Уитни — простой способ статистически сравнить две группы респондентов. Приятного прочтения и погружения в мир статистики! Перейти к статье

https://habr.com/ru/articles/970348/

#статистика_в_it #анализ_данных #визуализация_данных #статистический_тест #uxисследования #дизайн #проектирование_интерфейсов #количественные_методы #pvalue #опросы