Автоматизированная оценка стабильности скоринговых моделей на основе временных рядов метрик

Привет, Хабр! Меня зовут Зотов Глеб, я ML-инженер в команде скоринга в билайне. В статье расскажу о том, как не сойти с ума, мониторя десятки графиков вручную. Скоринговая модель может быть блестящей на этапе обучения, показывать отличные значения всех метрик на кросс-валидации и радовать бизнес на первых неделях после деплоя. Но вжух — и через два месяца валидационные метрики поползли вниз, отклонения по PSI зашкаливают, а product owner уже поглядывает в твою сторону с подозрением. Проблема? Проблема. Давайте разберемся, почему так происходит и как можно этого избежать.

https://habr.com/ru/companies/beeline_tech/articles/934886/

#time_series_analysis #psi #optimization #automatization #machine_learning #feature_stability #model_stability #data_drift #stability_metrics

Пример экспресс-анализа предпочтительности моделей импутации пропусков в многомерных временных рядах

Зачастую устранение пропусков — обязательный этап предварительной обработки временных рядов. Эта небольшая работа обусловлена стремлением создать инструмент оперативного подбора модели для импутации/вменения определенного вида пропусков в определенных временных рядах.

https://habr.com/ru/articles/899408/

#временные_ряды #пропуски #аномалии #прогнозирование #time_series_analysis

Временные ряды и ARIMA: Как предсказывать будущее без хрустального шара

Что такое временной ряд, модель ARIMA и как к ней подбирать параметры. Простым словами, временной ряд — это просто последовательность событий, которая как-то зависит от времени. Мы для начала будем считать, что ряд самый простецкий и нас просто есть скачущие туда-сюда точки, которые распределены по временной шкале.

https://habr.com/ru/articles/821231/

#временные_ряды #time_series_analysis #arima

Бутстрап временных рядов

Всем привет! Как и во многих других компаниях, в X5 существует огромное количество данных, зависящих от времени. Такие данные принято называть временными рядами (time-series). Это могут быть данные о продажах в магазинах, об остатках на складах или об удовлетворенности клиентов. Используя эти данные, мы хотим искать инсайты и приносить пользу бизнесу. Бутстрап является ценным инструментом — он позволяет генерировать множество синтетических выборок из исходных данных, на основе которых мы можем оценить распределение интересующей нас статистики и построить доверительные интервалы. Например, если нужно определить доверительный интервал для медианы или какого-то другого квантиля предсказаний, бутстрап позволяет это сделать, даже когда прямое аналитическое вычисление невозможно. Для временных рядов бывает полезно оценить границы, в которых находятся параметры модели, из которой получен ряд. Кроме того, часто необходимо посчитать доверительный интервал, в котором находятся предсказания для объекта с использованием моделей машинного обучения. Однако обычные методы бутстрапа не подойдут для временных рядов, так как они не учитывают структуру таких данных. В нашем обзоре мы рассмотрим, как различные модификации метода бутстрапа учитывают структурные особенности и зависимости в данных временных рядов. Особое внимание будет уделено объяснению, почему нельзя применять стандартный подход бутстрапа к временным рядам без учёта их структуры. Затем мы перейдем к обзору методов, которые позволяют эффективно решить эту проблему.

https://habr.com/ru/companies/X5Tech/articles/814579/

#временные_ряды #бутстрап #bootstrap #data_science #анализ_данных #аналитика #статистика #проверка_гипотез #time_series #time_series_analysis