Привет, Хабр!

Новая статья цикла о моделировании в задачах управления кредитным риском (предыдущие статьи смотрите здесь и здесь) посвящена EAD компоненте, отражающей размер задолженности заемщика перед банком в момент дефолта.

Как спрогнозировать сумму кредитного требования в момент дефолта, при условии, что момент дефолта неизвестен, и вообще может не настать? Как поступать с экстремальными, особенно большими по абсолютному значению, EAD? А если кредитный продукт, по которому нужно оценить риск это так называемый револьверный кредит, где нет установленных регулярных платежей,- как, например, кредитка с кредитным лимитом?

Эти и подобные им вопросы возникают при моделировании компоненты. Их и рассмотрим под катом.

EAD как одна из компонент EL

Общая формула ожидаемых потерь (Expected Loss, EL) выглядит так[1]:
где:
вероятность дефолта;
это кредитные обязательства по договору на момент дефолта. Кредитные обязательства, сумма кредитного требования, балансовая часть долга, баланс это синонимы для описания суммы средств, которые заемщик должен банку. Соответственно, EAD сумма средств, которые заемщик должен банку в момент дефолта.
доля EAD, которую заемщик не возместит банку в течение условленного времени после дефолта.

В публикациях и на проектах, посвященных оценке ожидаемых потерь, основное вниманиеприковано к моделированию и оценке PD. И если LGD также удается уделить время, особенно в части сбора целевого события и выбора архитектуры решения, то на EAD его практически не остаётся.

Одна из причин в том,чтоосновныекнопки управления итоговым значением EL расположеныименно в компонентах PD и LGD: калибровка, горизонт наблюдения и сбора восстановления и др.

Тем не менее EAD является важным параметром, поскольку используется в формулахлинейно определяет потери и, кроме того, проецирует расчеты в плоскость денег.

Наша цель дать быструю инструкцию, которая учтет основные требования и позволит собрать baseline для решения задачи.

Методы оценки EAD

Подходы к оценке EAD различаются в зависимости от типа договора:

Договора с фиксированной суммой

Такие договора ещё называются аннуитетными. Например, к таким относится потребительский кредит. Для моделирования EAD аннуитетных договоров могут быть использованы следующие подходы:

1. В самом простом случае оценка будущего EAD будет равна значению кредитного обязательства по договору на момент наблюдения.
   
   
   Такой подход не требует вычислений и является оценкой в первом приближении.
   
2. Второй подход консервативная оценка EAD: предположим, что заемщик начинает входить в дефолт прямо сейчас, то есть не вносит ни копейки платежей по кредиту, начиная с текущего момента. Тогда к моменту дефолта из штрафов и пени сформируется дополнительный долг, который тоже будет включен в сумму EAD:
   
   
   где:
   сумма долга на текущую дату,
   сумма накопившихся штрафов и пени, неуплаченных к моменту дефолта,
   прогнозный EAD.
   
3. Менее консервативные методы предполагают, что сумма EADа будет представлять собой некую сумму средств, которая лежит в интервале между нулем и консервативным значением, определяемую множителем текущей балансовой позиции. Этот подход будет рассмотрен подробно далее в статье.
   

Договора с нефиксированной суммой

С нефиксированной суммой, т.н. револьверные, или лимитные: договора, имеющие балансовую и внебалансовую чаcть долга. Внебалансовая часть долга денежные средства, которые есть возможность использовать, но не использованы на дату наблюдения. Примерами могут быть кредитная карта с лимитом или кредитная линия.

Сумма EAD для такого типа договоров может рассчитываться следующими способами:

1. Консервативный подход состоит в том, чтобы считать EAD равным лимиту:
   
   
2. Другой подход состоит в том, чтобы моделировать некоторый показатель, который будет отражать степень использования внебалансовой части кредита до того, как заемщик окажется в дефолте. Этот подход также будет рассмотрен подробно далее в статье.
   

Моделирование EAD

Схематично план моделирования EAD изображен на диаграмме:

Формирование витрины для моделирования

Здесь, как и в статьях ранее, мы рассматриваем витрину для моделирования (ABT) как результат объединения трех сущностей: сегмент (id, временная метка, атрибуты сегмента), целевое событие и поведенческие атрибуты.

Начнем с целевого события. Обратим внимание на два его параметра горизонт и алгоритм сбора. Не стоит забывать, что поскольку событие инициировано фактом дефолта, то все остальные аспекты дефолта (дата начала, дата окончания, тип события) также имеют значение при описании EAD.

Определение горизонта наблюдения

Величина EAD, а также момент дефолта, станут известны только в момент дефолта (сюрприз-сюрприз). Моделировать же его необходимо, выбрав заранее, на каком временнОм интервале планируется прогнозировать дефолт и, соответственно, EAD. Такой интервал называется горизонтом наблюдения. Возможны несколько подходов для учета событий дефолта.

Три наиболее распространенных подхода: метод фиксированного горизонта, когортный и смешанный метод [2].
а) Фиксированный горизонт. Наблюдения формируются таким образом, чтобы от даты наблюдения до даты дефолта временной интервал был фиксированным. При этом длину интервала рекомендуется выбирать таким образом, чтобы она была такой же, как у горизонта наблюдения модели PD для текущего портфеля (например, 12 месяцев). б) Когорты. Метод предполагает разбиение периода наблюдения на фиксированные интервалы. Каждый такой срез наблюдаемого периода учитывает все события дефолтов, произошедшие в период между датами текущего и следующего среза. Таким образом, для каждого кредитного требования рассчитывается целевая переменная на основе баланса на момент среза и реализованного EAD в момент дефолта. в) Смешанный метод. Подход совмещает в себе оба предыдущих варианта. Выборка делится на срезы, как правило, ежемесячные или ежеквартальные, куда попадают все активные на дату среза договора, и для каждого среза происходит учет всех событий дефолта, произошедших в течение некоторого интервала времени (как обычно, ограниченного сверху двенадцатью месяцами). Таким образом, каждое событие дефолта учитывается более одного раза. Сравнительная характеристика подходов к сбору горизонта наблюдений:

Формирование сегмента

После того, как определена длина горизонта, необходимо определиться с тем, какие наблюдения попадают в выборку для моделирования.
Обычно подразумевается, что выборкой для моделирования является совокупность договоров, которые в текущий момент не в дефолте, но на горизонте наблюдения в дефолте окажутся.
Имеет место также такой вариант формирования выборки, при котором в момент дефолта одного из договоров, все остальные активные договора заемщика также признаются дефолтными. Этот подход называется дефолтом в результате инфицирования и зачастую используется для изменения уровня дефолта.

Определение целевой переменной

Стоит отметить, что в кредитном портфеле встречается большой разброс по балансам: от очень маленьких (на грани материальности) до очень больших значений. Из-за этого прогнозирование непосредственно абсолютного значения баланса может привести к существенной величине ошибки. Чтобы этого избежать, для моделирования используют целевые переменные, которые отражают относительную разницу между актуальным балансом и балансом на дату дефолта (EAD), либо относительную же разницу между значением лимита и EAD.

В следующем разделе рассмотрим некоторые из них.

Коэффициент кредитной конверсии

Коэффициент кредитной конверсии - credit conversion factor, CCF та часть доступного лимита, которая будет использована до наступления дефолта [3].
где:
и это, соответственно, лимит по кредитному договору и баланс на момент наблюдения, сумма основного и просроченного кредитного долга на момент дефолта.

Поскольку у аннуитетных договоров нет внебалансовой части (то есть, всегда равен нулю), этот подход может применяться только для лимитных договоров.

Выборка для применения представляет собой открытые и недефолтные договора на дату, и рассчитанные для каждого из наблюдений атрибуты, вошедшие в финальную модель. На основании атрибутов рассчитывается CCF для наблюдения. На основании CCF, баланса и лимита рассчитывается прогнозный EAD по следующей формуле:

В этой формуле и прогнозные значение EAD и CCF соответственно.

Коэффициент использования лимита

Такое целевое событие может быть применено к продуктам с изменяемыми лимитами, что в случае расчета CCF может приводить к отрицательным значениям [4]. Также, как и предыдущий, этот подход может быть применен только для лимитных договоров.

Множитель текущей балансовой позиции

По некоторым револьверным кредитам превышение лимита наступает до момента дефолта. В таком случае подход, основанный на CCF, не имеет смысла ввиду значения больше 100%. Решением подобной проблемы может стать рассмотрение в качестве целевой переменной множителя текущей балансовой позиции. Прогнозное значение EAD будет иметь следующий вид: Поскольку в этом подходе расчет EAD опирается только на значение баланса, он может быть использован в том числе для моделирования сегмента аннуитетных договоров.

Использование двух целевых переменных (двухкомпонентная модель)

Общая формула этого подхода выглядит следующим образом: где:
баланс на дату наблюдения,
множитель текущей балансовой позиции,
коэффициент кредитной конверсии,
кредитный лимит по договору на дату наблюдения.

Подход можно использовать как для лимитных, так и для аннуитетных договоров:

• для аннуитетов:
  
  
  
  где k это целевая переменная, для которой собираем витрину.
  
• для лимитных договоров моделируем две целевые переменные:
  
  

Когда в кредитном портфеле содержатся договора обоих типов, использование двухкомпонентной модели выгодно отличается от иных подходов, позволяя настроить функционал для каждого сегмента по отдельности.

Таблица сравнения применимости целевых переменных для некоторых случаев

Расчет ретроспективных значений целевой переменной для всех наблюдений

После того как выбран горизонт событий и целевая переменная, выполняется расчет ее значения для всех наблюдений сегмента.
Поскольку сегмент представляет собой договора, которые попали в дефолт, то для всех них известен EAD. Используя формулы для расчета выбранной на предыдущем шаге целевой переменной, рассчитывается фактическая целевая переменная для наблюдений.
Для некоторых случаев таких, как двухкомпонентная модель, очевидным шагом будет рассчитать разные целевые переменные для разных сегментов, и возможно, проводить дальнейшее моделирование по каждому из сегментов в отдельности.

Поведенческие атрибуты

Почти все подготовлено для формирования витрины для моделирования. Осталось добавить поведенческие атрибуты. Среди основных драйверов:

• Утилизация по договору;
  
• Время жизни договора;
  
• Количество дней в просрочке;
  
• DTI debt-to-income ratio отношение долга к доходам
  
• PTI Payment-to-income ratio отношение ежемесячных платежей по кредиту к доходам
  
• Размер компании (для ЮЛ)
  

Полный список смотрите в предыдущей статье цикла.

Выбор типа модели и бинаризация целевой переменной

Перечисленные целевые переменные являются вещественными числами. Вещественная целевая переменная ограничивает выбор типа модели до подмножества регрессионных.

Другим нюансом является тот факт, что в рассматриваемой задаче форма распределения целевой переменной далека от нормальной. Рассмотрим пример распределения целевой функции CCF [3]:
Распределение CCF часто характеризуется пиками около CCF = 0 и CCF = 1. Такое распределение может привести к неточному прогнозу модели стандартной линейной регрессии. В этом случае можно использовать GLM обобщенную модель линейной регрессии с некоторой функцией связи (link function), которая учитывает распределение целевой переменной, отличное от нормального [6]. Тем не менее, это требует дополнительного анализа на предмет функции связи, который необходимо проводить заново для каждого моделируемого портфеля. По этим причинам, иногда целесообразно бинаризовать целевую переменную, и использовать классификационную модель.

Существует несколько способов бинаризовать целевую переменную [7].


Изначально CCF означал долю неиспользованного на текущий момент лимита, которую заемщик израсходует к моменту выхода в дефолт.

Бинаризованный же CCF может принимать только два значения:
По сути, сформулирована классификационная задача, для решения которой можно использовать любой из подходящих алгоритмов машинного обучения. Впрочем, часто останавливаются на логистической регрессии. В случае бинаризации взвешенным методом на взвешенной логистической регрессии (weighted logit regression). Выбор именно логистической регрессии обусловлен тем, что она интерпретируема и классически широко используется в моделях кредитного моделирования, в первую очередь, моделях PD.

Прогноз модели вероятность наступления события CCF_binary = 1 лежит в интервале от 0 до 1. При применении модели его можно интерпретировать как прогнозную оценку оригинальной, вещественной переменной CCF.

Применяя таким образом модель и зная значения баланса и лимита, рассчитывается прогнозное значение EAD по формуле из раздела о CCF:

Заключение и вывод

EAD несложная, по сравнению с PD и LGD, компонента для моделирования. Как правило, для быстрого построения качественного baseline можно воспользоваться одной из рассмотренных траекторий. Сборка модульная. Отбор признаков и все оттенки ML для финальной модели могут быть подобраны исходя из предложенного нами ранее pipeline.

TL:DR Примеродного из возможных решений:

1. Использование смешанного горизонта;
   
2. Двухкомпонентная модель (CCF и k). Факторы, включенные в модель, выбраны так, чтобы наиболее полно характеризовать заемщика и его платежную дисциплину.
   
3. Для моделирования можно использовать обычную logit-регрессию, предварительно выполнив бинаризацию целевой переменной CCF взвешенным методом.
   
4. Проверка качества модели на out-of-time тестовой выборке.
   

Итоговый выбор, безусловно, осуществляется после полного погружения в данные и бизнес-процессы, а также требования к процессу применения моделей.

Авторы статьи: Алиса Пугачёва (alisaalisa), Александр Бородин (abv_gbc)

Список использованных терминов и сокращений

• ABT analytical base table витрина данных для моделирования [8].
  
• EL expected loss ожидаемые потери по договору.
  
• PD probability of default вероятность дефолта.
  
• LGD loss given default доля EAD, которую клиент не возвращает на горизонте восстановления.
  
• EAD exposure at default кредитные обязательства по договору на момент дефолта. По сути, баланс на дату дефолта, где баланс = Тело долга + Просрочка.
  
• CCF credit conversion factor часть доступных на момент наблюдения средств, которая будет использована клиентом к моменту дефолта.
  
• Дефолт это невыполнение обязательств по договору займа. Обычно, дефолтом считается неоплата по договору в течение 90 дней.
  
• ОД основной долг.
  
• ПОД просроченный основной долг.
  
• Балансовая часть долга сумма долга на момент наблюдения. Баланс = ОД + ПОД.
  
• Внебалансовая часть долга сумма средств, которые доступны для использования, но пока не использованы. Применимо к лимитным договорам.
  
• GLM generalized linear model.
  
• DS data science.
  
• ML machine learning.
  
• Out-of-time способ разделения на обучающую и тестовую выборки. Разделение происходит способ по временной метке наблюдений так, чтобы в трейн-выборке оказались более ранние наблюдения, а в тестовой более поздние.
  

Ссылки

1. ML и DS оттенки кредитного риск-менеджмента
   
2. ТЕОРЕТИЧЕСКИЕ И ПРАКТИЧЕСКИЕ АСПЕКТ ПОСТРОЕНИЯ EAD-МОДЕЛЕЙ
   
3. ПОСТРОЕНИЕ РЕГРЕССИОННХ МОДЕЛЕЙ ДЛЯ ОЦЕНКИ ВЕЛИЧИН СРЕДСТВ ПОДРИСКОМ (EAD)
   
4. Predictive Models for Credit Limit Utilization
   
5. Exposure at default models with and without the credit conversion factor
   
6. Practitioner's Guide to Generalized Linear Models
   
7. Bart Baesens Credit Risk Analysis
   
8. https://en.wikipedia.org/wiki/Analytical_base_table
   

Чем лучше вы понимаете своих клиентов, тем более эффективные маркетинговые стратегии используете. Чтобы узнать, кто находится в базе контактов, часто применяют сегментацию: по полу, возрасту, купленным товарам. И это хорошо.

Важно только не забывать, что, если пол единственное, что объединяет людей в сегменте, то это очень разные люди, поскольку сегментация по одному признаку не учитывает разные стадии взаимодействия с компанией. Например, новый клиент это не то же самое, что клиент лояльный, какого бы пола он ни был.

Чтобы оценить поведение клиента на всём его пути взаимодействия с компанией, применяют когортный анализ, который в результате поможет:

• персонализировать коммуникации;
• предотвратить отток клиентов;
• оптимизировать рекламные затраты.

Что такое когортный анализ икогорты

Когорта группа пользователей, объединённая общими признаками ивременным интервалом. Например, пользователи, которые зарегистрировались всервисе наодной итойже неделе. Они совершили одно итоже действие водин интервал. Именно распределение повремени отличает когорты отсегментов.

Когортный анализ один изсамых популярных анализов вмаркетинговой ипродуктовой аналитике. Онпоказывает изменение ключевых показателей вовремени вразрезе каждой когорты. Так появляется возможность, взависимости оттого, когда пользователь совершил действие, отследить достижение конкретных целей: конверсии, ROI, CAC, LTV, Retention Rate иразобраться впредпосылках. Например, вывидите, что пользователи четвёртой недели конвертируются лучше, чем пользователи первой. Ивызнаете, что натретьей неделе вывнедрили онбординг. Значит, онбординг помогает лучше конвертировать пользователей.

Основные параметры

Для построения когортного анализа необходимо определить:

1. Признак формирования когорты событие, покоторому создаются группы (дата первого посещения/первой покупки/регистрации/открытия письма итак далее).
2. Размер когорты диапазон времени для формирования когорты (день/неделя/месяц).
3. Временной интервал скакого момента необходимо отслеживать поведение когорт (запредыдущий год/два/три итак далее).
4. Ключевой показатель конкретную метрику, которая интересна для данного бизнеса (посетители сайта, покупатели, транзакции, доход итак далее).

Невсегда стоит делать выводы поабсолютным значениям, вбольшинстве случаев используются относительные показатели. Например, рассчитывать коэффициент удержания клиентов намного правильнее, чем брать для анализа абсолютное количество клиентов.

Все параметры выбираются исходя из потребностей и особенностей бизнеса. От выбора ключевого показателя зависит признак формирования и размер когорт.

Для проведения более детального когортного анализа можно создавать когорты понескольким признакам. Например, объединить подписчиков подате подписки нарассылку исовершении первой покупки вэтомже месяце. Аещё можно дополнительно сегментировать когорты подругим интересующим характеристикам (источник трафика/пол/возраст/страна идругое).

Когортный анализ вemail-маркетинге

Многие компании используют обобщённую статистику при оценке email-маркетинга: показатели открываемости, кликабельности, отписки закаждый месяц или заотдельное письмо. Нотакая оценка неспособна дать ответ навопрос, кто икак взаимодействует срассылками. Один извариантов сегментировать пользователей. Хорошо, нонедостаточно, так как водин сегмент могут попасть как новые, так истарые подписчики, которые ведут себя по-разному, иожидания отбренда уних отличаются. Чтобы получить более детальную информацию, необходимо использовать когортный анализ.

Сего помощью можно:

• отследить динамику взаимодействия пользователей, которые подписались вразное время;
• определить самые активные когорты;
• проверить гипотезы накогортах;
• построить более персонализированные коммуникации;
• определить время жизни подписчиков;
• вовремя запустить реактивацию.

Если добавить дополнительную сегментацию вкогортный анализ, информация будет более детальной, ивысможете получить намного больше полезных инсайтов.

Напримере расскажу, как использовать базовый способ построения когортного анализа без дополнительной сегментации. Этого достаточно, чтобы понять принцип построения.

Пример построения базового когортного анализа

Постановка задачи

Вданном примере цель когортного анализа отследить взаимодействие подписчиков срассылками наоснове Click Rate (количества кликов).

Определение параметров

Анализ будет построен наследующих показателях.

1. Признак формирования когорты дата подписки.
2. Размер когорты месяц.
3. Временной интервал сянваря 2018 поноябрь 2019.
4. Ключевой показатель CR.

Отзначений параметров будут зависеть дальнейшие шаги работы.

Исходные данные

ВТаблицу 1собираем информацию оподписчиках:

• IDподписчика (вкачествеID может выступать email);
• дата подписки.

ВТаблице 2 информация овзаимодействиях (одна строка одно действие):

• IDподписчика;
• дата совершения действия;
• рассылка, вкоторой совершено действие.

Висходной таблице уже выведено уникальное количество кликов. Если ваши исходные данные содержат неуникальные значения, перед началом работы удалите строки-дубликаты изнабора. Они образуются, если человек, например, кликнул два раза поодной ссылке, атак как некоторые платформы отдают все данные, какие уних есть, втаблице окажутся две одинаковые строки разница будет только вовремени этих событий.

Алгоритм работы

1. Группируем пользователей по дате подписки, учитывая размер когорты. Получаем количество подписчиков в каждой когорте.
2. Объединяем таблицу 2 с таблицей 1, используя в качестве ключа общее поле ID подписчика.
3. Группируем полученную из пункта 2 таблицу по полям дата совершения действия и дата подписки и подсчитываем для такой пары общее количество кликов.
4. Рассчитываем для каждой пары значение ключевого показателя.

Анализ результатов

Полученные результаты представляются ввиде матрицы, где строки это когорты, столбцы месяцы, значения ключевой показатель (CR).



Например, упользователей, которые зарегистрировались вфеврале 2018 процентCR втотже месяц был 2,11%, авот вмарте 2018 они кликали намного активнее 14,20%.

Что полезного можно извлечь изэтой матрицы?

1. Когорты Январь 2018, Март 2018 иАпрель 2019 оказались очень неактивными. Если посмотреть наколичество подписчиков вданных когортах, картина становится более ясной.Вянваре имарте 2018 было огромное количество подписок. Вероятно, проводились очень успешные кампании, которые собрали такую базу. Если смотреть наобщие ежемесячные показатели, товыглядит вполне убеждающе кампании сработали иподняли CR.Когортный анализ показывает, как выглядит ситуация насамом деле. CRувеличился засчёт когорты февраля 2018. Абольшинство подписчиков, зарегистрировавшихся вянваре имарте 2018, неявляются целевой аудиторией итолько загрязняют базу.Когорта Апреля 2019 неявляется сильно выпадающей изобщей картины. Чтобы определить причину таких невысоких показателей, надо иметь больше данных: откуда пришли эти клиенты, небылоли каких-нибудь тестирований, неизменяласьли рекламная стратегия итак далее.
2. Подписчики 2019 года впервые месяцы более активны, чем подписчики 2018года.
3. Воктябре 2018 годаCR был слишком мал. Даже текогорты, которые доэтого месяца ивследующие месяцы показали себя довольно лояльными, воктябре 2018 плохо взаимодействовали срассылками.
   

   

   
   Причины могут быть разные. Может, компания решила сменить подход кконтенту (увидели, что сделали только хуже, ивернулись кпрошлому варианту). Авозможно, ссылки оказались некликабельными. Если устанавливать размер когорты вдень или неделю, томожно оперативно отслеживать работоспособность нетолько врассылках.
   
   Есть ещё один вариант представления когортного анализа ввиде матрицы, где значения встолбцах это номер месяца, следующий замесяцем подписки.
   
   
   
   При таком представлении удобно сравнивать когорты поихвзаимодействию иопределять время жизни подписчика.

Применение вдругих сферах

Когортный анализ универсальный метод, который позволяет проанализировать различную информацию. Наиболее часто когортный анализ применяют для:

• оценки эффективности рекламных каналов;
• оценки результатов A/B-тестирования;
• формирования портрета идеального клиента;
• оптимизации цикла продаж вSaaS-бизнесе;
• анализа эффективности мобильных приложений;
• определения LTV.

Инструменты построения

Самые простые

Для построения когортного анализа можно использовать Excel, Google Sheets иимподобные. Доступность этих инструментов основное преимущество. Среди недостатков можно выделить ограниченность вразмере исходных данных, невозможность оперативного пересчёта при изменении параметров, отсутствие автообновления идругие.

Инструменты сподходящим функционалом

Некоторые рекламные ианалитические сервисы имеют встроенный функционал построения когортного анализа. Преимущество такого способа заключается втом, что пользователю необходимо лишь выбрать параметры, иотчёт покогортному анализу будет оперативно построен.

Кнедостаткам такого подхода можно отнести:

• ограниченный платформой набор параметров;
• необходимость использовать эту систему идля сбора данных, азначит, для отслеживания аналитики идля рекламы.

Ктаким системам относятся:

• Google Analytics
• Яндекс.Метрика (AppMetrica)
• Adjust
• Roistat
• Kissmetrics
• идругие

Универсальные инструменты

Наиболее универсальными инструментами построения когортного анализа выступают платформы для бизнес-анализа, например, Power BI. Сихпомощью можно:

• получить данные для анализа слюбого сервиса
• выбрать параметры, которые вас интересуют
• настроить автообновление.