Автоматизированная оценка стабильности скоринговых моделей на основе временных рядов метрик

Привет, Хабр! Меня зовут Зотов Глеб, я ML-инженер в команде скоринга в билайне. В статье расскажу о том, как не сойти с ума, мониторя десятки графиков вручную. Скоринговая модель может быть блестящей на этапе обучения, показывать отличные значения всех метрик на кросс-валидации и радовать бизнес на первых неделях после деплоя. Но вжух — и через два месяца валидационные метрики поползли вниз, отклонения по PSI зашкаливают, а product owner уже поглядывает в твою сторону с подозрением. Проблема? Проблема. Давайте разберемся, почему так происходит и как можно этого избежать.

https://habr.com/ru/companies/beeline_tech/articles/934886/

#time_series_analysis #psi #optimization #automatization #machine_learning #feature_stability #model_stability #data_drift #stability_metrics