Невероятные события: может ли выпасть 400 орлов из 1000 бросков?

В недавней статье про Закон больших чисел мы оценивали вероятность больших отклонений с помощью неравенства Чебышёва. Для тысячи бросков монетки оно даёт границу 2,5% для отклонения в 100 и более орлов. Мне стало интересно, насколько это близко к правде. Я написал симуляцию и проверил — сначала на сотне прогонов, потом на тысяче, потом на ста тысячах. Ни одного такого исхода. Реальная вероятность оказалась меньше 5 ⋅ 10 ⁹ — катастрофически меньше, чем 2,5% из оценки Чебышёва. Именно это стало поводом для написания статьи. Мы хотим понять, как связано число испытаний, отклонение и вероятность. Если зафиксировать отклонение, какова вероятность его превышения? Если зафиксировать вероятность, каким должно быть допустимое отклонение? И, наконец, если заданы и вероятность, и отклонение, то сколько испытаний нужно провести, чтобы с заданной вероятностью уложиться в эти рамки? В этой статье мы начнём с эксперимента и дойдём до строгой экспоненциальной оценки, которая работает для любого числа испытаний. По дороге докажем оценку Чернова и выведем частный случай неравенства Хёффдинга и разберём, как они устроены. Такие оценки широко используются в прикладной математике . Нам важно заранее знать, сколько испытаний провести, чтобы с частота с заданной точностью приблизилась к истинной вероятности события. Разница между прогнозами, которые дают неравенство Чебышёва и экспоненциальные оценки, может быть колоссальной! К неравенству Хёффдинга

https://habr.com/ru/articles/935676/

#математика #теория_вероятностей #статистика #закон_больших_чисел #центральная_предельная_теорема #случайность #интуиция #монте_карло #математическое_ожидание #доверительный_интервал

Бутстрап и доверительные интервалы: от теории к практике на Python

Привет! Бутстрап — мощный статистический метод, позволяющий оценить распределение выборочных статистик. В Data Science бутстрап применяется в большом спектре задач. В статье я постараюсь понятным языком рассказать про особенности, ограничения и сценарии применения бутстрапа, а также я познакомлю вас с различными схемами бутстрапа: Эфронов интервал (простой, но дает смещенную оценку), интервал Холла (несмещенный за счет центрирования) и t-процентильный интервал (несмещенный, шире других, лучшая асимптотика). Более того, в статье мы реализуем функцию бутстрапа на Python и проведем небольшой эксперимент с помощью разных схем бутстрапирования.

https://habr.com/ru/articles/829336/

#бутстрап #доверительный_интервал #статистика #python #ансамблирование_моделей #random_forest #bagging #аналитика #анализ_данных

Не так уж и уверен. Как правильно оценивать свою уверенность в знаниях?

«Шансы взрыва ядерного реактора составляют один на десять тысяч лет» Виталий Скляров, министр энергетики и электрификации УССР за два месяца до аварии на Чернобыльской АЭС. У нас в голове огромное количество убеждений буквально обо всём на свете. Но правильно ли мы их храним? Поговорим о том, как разложить их по полочкам. Оказывается у этого действия есть специальный термин: "Калибровка". Давайте разбираться, может ли это пригодиться лично вам? Проявить любопытство

https://habr.com/ru/articles/822587/

#калибровка #рациональность #тест_эквивалентной_ставки #доверительный_интервал #самоуверенность #уверенность #джулия_галеф #нейт_сильвер #роб_бразертон