Повышение надежности прогнозирования оттока клиентов в банковской сфере на основе калибровки и количественной оценки неопределенности

Аннотация

В данном исследовании анализируется роль калибровки и количественной оценки неопределенности в моделях машинного обучения, используемых для прогнозирования оттока банковских клиентов (churn). Точность и надежность прогнозирования решений клиентов имеют критическое значение для стратегического планирования и оптимизации прибыли в банковском секторе. В рамках исследования были применены три модели машинного обучения: Random Forest (глубокий ансамбль), XGBoost и нейронная сеть с использованием Monte Carlo Dropout. Оценка моделей проводилась на основе как традиционных метрик производительности, так и показателей калибровки и неопределенности, включая AUC, F1-меру, показатель Брайера, ожидаемую ошибку калибровки (ECE) и прогнозируемую прибыль. Согласно полученным результатам, модель Random Forest продемонстрировала наивысшую прибыль (118 000 AZN) при сбалансированных значениях AUC (0,842) и F1-меры (0,777). Модель XGBoost показала наивысшее значение F1-меры (0,794), однако характеризовалась умеренной ошибкой калибровки (ECE = 0,088). В свою очередь, модель NN + MCDO обеспечила наилучшее соответствие вероятностных прогнозов реальным частотам, продемонстрировав минимальную ошибку калибровки (ECE = 0,026) и наивысшее значение AUC (0,863), несмотря на более низкое значение F1-меры (0,631). Результаты показывают, что учет неопределенности в моделях глубокого обучения повышает надежность и интерпретируемость вероятностных прогнозов, тогда как ансамблевые модели более эффективны с точки зрения оптимизации прибыли в системах банковского принятия решений.