HabrПочему одна запись может изменить KPI: разложение агрегированных метрик на вклад отдельных событий
Меня зовут Иван Васильев, я ведущий аналитик в Ви.Tech, IT-дочке ВсеИнструменты.ру. Хочу показать, как из на первый взгляд простой формулы KPI выросла инженерная задача: нам нужно было не просто посчитать интегральный показатель эффективности поставщика, а объяснить, какая именно закупка его ухудшила и почему. В статье разберу, почему для агрегированных метрик не работает наивный подход, как мы пришли к remove-one analysis и где пришлось отдельно фиксировать логику расчета, чтобы результат вообще можно было интерпретировать. В одной из систем, над которой я работаю, мы рассчитываем интегральный показатель эффективности поставщика. Сначала задача казалась очень простой: несколько метрик, несколько весов, обычная агрегированная формула. Но однажды бизнес задал вопрос: | Почему показатель поставщика снизился? Ответить на него можно было бы общими словами. Но затем появился уточняющий вопрос: | А какая именно закупка ухудшила показатель? И в этот момент простая аналитическая задача внезапно превратилась в интересную инженерную проблему: с агрегированными метриками, нелинейными функциями и неожиданными эффектами, которые больше похожи на задачи из дискретной математики, чем на обычный backend.
https://habr.com/ru/articles/1019170/
#KPI #explainable_KPI #агрегированные_метрики #removeone_analysis #sensitivity_analysis #вклад_записи #explainability #backend
Andrea Saltelli