Прогнозирование спроса

В школе все мы решали задачки вида едет из пункта А в пункт Б. Речь преимущественно шла о скорости и времени как быстро доберётся транспортное средство? Реальность, однако, подбрасывает задачки значительно интереснее: Существует масштабная ритейл-сеть по продаже товаров, которой необходимо, чтобы огромное количество номенклатурных позиций доезжало в каждый из 17000 магазинов, расположенных на половине площади самой большой страны в мире, вовремя и в нужном количестве. Для решения такой задачи в X5 Group существует ряд реализованных решений, и одним из самых важных является процесс автозаказа товаров.

Техническую поддержку этого направления в X5 Group обеспечивает команда 2-SAP Логистики.

Наша команда поддерживает решения, которые помогают бесперебойно обеспечивать полки магазинов свежими продуктами, а покупателям на территории всей России доступны к продаже десятки тысяч товарных позиций.

Автозаказ это комплекс процессов управления запасами и заказами

Поддержание объемов товарных запасов на установленном уровне, который обеспечивает постоянное наличие товара при оптимальных запасах в системе. Это достигается путем автоматического выполнения процессов:

Планирование заказа.

Формирование заказа.

Отправка заказа.

Экономическое обоснование поддерживаемого уровня.

Контроль за состоянием запасов.

Управление ассортиментом.

Для этого используются разные механизмы прогнозирования в зависимости от формата магазина и гибких настроек в системе.

Прогноз продаж, построенный SAP это прогноз спроса на период 42 дня, который строится на исторических данных по продажам. Период анализа продаж и модель прогноза определяется из настройки Профиля прогноза.

В периоде анализа продажи могут быть Плановые регулярные продажи и Внеплановые промо продажи.

Прогноз запускается ночью (по календарю) в фоновом режиме массово для всех комбинаций товар-магазин, в рамках ассортимента и является частью Автозаказа.

Модель прогноза определенный алгоритм расчета прогноза, который устанавливается для каждого товара в магазине.

Для больших форматов прогнозирование и создание рекомендаций для Автозаказа производится в JDA, алгоритмы и логика расширены в данной системе и позволяют учитывать огромное количество параметров для расчета.

Около 04:30 эти данные по потребности из JDA поступают в SAP, где обрабатываются фоновым заданием с интервалом запуска каждые 15 минут, в результате чего создаются Автозаказы.

Автозаказ подскажет, какие товары из-за их низкой оборачиваемости можно вывести из постоянного товарооборота, какие заказные товары пользуются популярностью и их можно вводить в постоянный ассортимент, уменьшаются ли остатки по товарам, выводимым из ассортимента и т.п.

Большую роль этот функционал играет для персонала магазинов магазинах, так как он исключает необходимость формировать заказы вручную. За исключением отдельных случаев всё происходит в автоматическом режиме с учетом большого количества факторов и сложных расчетов. Автозаказ облегчает ежедневный труд тысяч сотрудников по всей стране от Калининграда до Новосибирска.

Через автозаказ пополняется до 80% основного ассортимента магазинов, а ручное пополнение выполняется для товаров in-out.

Схема реализации товара:

Классическое пополнение происходит примерно в таком виде: представим, что есть некий товар, допустим, это пакет молока, который поставляется напрямую от внешнего поставщика в магазин торговой сети Пятёрочка.

Так выглядит децентрализованная цепочка:

- в 00:00 стартует задание по АЗ, в период его работы по нашему товару рассчиталась потребность, сформировался автозаказ, и он бы отправлен из SAP в программу магазина GK(Пятёрочка), там у сотрудников магазина есть время отредактировать рассчитанное кол-во (в большую или меньшую сторону) до наступления времени автосогласования (например, до 11 утра, время зависит от тайминга поставщика, т.е. до какого момента он должен получить заказ, чтобы собрать и вовремя привезти заказ в магазин);

- после внесения корректировок эти изменения отправляются в SAP, и дальше происходит процесс автосогласования заказ согласовывается и автоматически отправляется поставщику по почте или его провайдеру (в зависимости от того, по какой схеме поставщик работает). Например, если поставщик работает по EDI (через электронный документооборот), то после доставки заказа в его систему, нам провайдер передает информацию о размещении заказа в своем ПО и в системе ER2 заказ переходит в статус Размещен;

- далее нам поступает буфер приемки, который мы передаем в ПО магазина. По этому буферу магазин осуществит приемку товара от поставщика. После осуществления приемки поставщику отправляется информация об этом. На этом путь закончен, сотрудникам магазина остается выставить на полки товар и продать его счастливым покупателям.

Автозаказ (Ночной профиль) фоновое задание, имеющее внутри себя несколько шагов, выполняющих определённые функции. Результатом задания является создание заказов на закупку товаров. Запускается параллельно по магазинам.

На ежедневной основе автозаказ формирует более 400 000 тысяч заказов для магазинов, как на распределительные центры, так и внешним поставщикам.

• Продажи за период в прошлом

• Прогноз на период в будущее (на основании продаж строится прогноз SAP)

• Остатки на объекте получателе (остаток в SAP на момент расчёта)

• Открытые заказы (заказы на поставку и возвраты)

Продажи приходят из магазинов каждый вечер до расчёта фонового задания Автозаказа.

Факт получения продаж запускает расчет Автозаказа. Если до 03:00 продажи не получены SAP ERP, то происходит безусловный запуск задания Автозаказа.

Автозаказ формируется строго по графику заказа/поставки согласованному с поставщиком, так категории FRESH и ULTRA FRESH, как правило, заказываются и поставляются в магазины ежедневно.

Кроме того, для каждого товара в магазине при расчете потребности учитывается Презентационный запас и дополнительные выкладки. В зависимости от продаж количество может варьироваться от нескольких единиц товара до нескольких полок.

Для того, чтобы заказать оптимальное кол-во товара, учитывается прогноз, который строится в SAP в момент расчета Автозаказа.

Если по этому товару уже есть запас или размещенный заказ, который еще не закрыт, то система также учтёт это при определении размера финального заказа.

Автозаказ определяет цепочку и поставщика по каждому товару для каждого магазина, согласно записей книги источников поставок (смежный функционал, автоматизирован, и ведется также в SAP) и формирует заказ.

Запускается задание ежедневно в 00:00. Первыми выполняются расчеты по регионам Сибирь и Урал, далее по регионам Волга, ЮГ, Москва, Центральные регионы и Северо-запад. Последовательность выполнения крайне важна, т.к. наши магазины расположены в разных часовых поясах, и пока в Москве все сладко спят, в Сибири уже в разгаре рабочий день.

Задача нашей команды контролировать, поддерживать и обеспечивать работоспособность автозаказа на каждом шаге, а в случае каких-либо сбоев в системе, проактивно реагировать и минимизировать возможный ущерб для бизнеса и для наших покупателей.

Для этого мы реализовали различные системы мониторинга, инструменты для анализа, а в случае необходимости и возможность отправки в магазины резервных шаблонов заказа.<o:p>

Такие ситуации практически исключены, но мы готовы к любому повороту событий, и, если вдруг в системе случился какой-то сбой и автозаказ не сформировался, мы можем запустить программу по выгрузке в магазин шаблонов заказов. Шаблон заказа это по- сути прайс-лист в рамках ассортимента магазина на определенного поставщика, но без предложенного количества. Такой шаблон позволяет магазинам сделать заказ самостоятельно на необходимое количество товара в случае форс-мажора.

Также предусмотрен инструмент для выгрузки резервных заказов, рассчитанных накануне, в случае сбоев в системе JDA по прогнозированию и пополнению магазинов больших форматов Перекрёсток и Карусель.

Введение

Производствам и оптовым компаниям постоянно необходимо отвечать на вопросы
"Что производить?", В каком количестве? и Какие цены устанавливать?
В последние несколько лет основной инструмент нахождения на них ответа - использование таблиц Excel для планирования спроса и производства. Но увеличение количества данных
о позициях и рост скорости перемен затрудняет его, и, к тому же, огромный объем информации остается не учтен. Естественным решением становятся алгоритмы анализа данных, которые начинают играть все большую роль.

В статье мне хотелось бы рассказать, как в вышеперечисленных вопросах может помочь анализ данных, осветить основные проблемы его внедрения и использования.

Чего можно достичь?

Бизнесу и менеджменту интересны в первую очередь показатели и решение проблем,
а не сложные алгоритмы.

Рассмотрим основные направления улучшений:

1. Повышение доступности позиций при тех же складских остатках на конец недели/месяца

2. Увеличение прибыли и выручки за счет удовлетворения непокрытого ранее спроса, оптимизации цен и рекомендаций по улучшению позиций

3. Расчет спроса и его эластичности относительно различных характеристик товаров

4. Сегментация позиций по их характеристикам

5. Отсутствие издержек на наем группы аналитиков (достаточно объяснить существующему персоналу как работает система, почему и когда ей можно доверять)

Пункты 3,4 - в том числе и несуществующих позиций.

Это без учета решения проблем наподобие Толком не понятно, как устроен сбыт.
Что-то продается хорошо, а что-то не очень. Есть склад и все просто работает
(реальный ответ собственника).

Почему существующий подход (Excel) не может так?

Как уже было сказано во введении - банальный рост потоков информации. Остается только упускать детали, нанимать больше сотрудников, более дорогостоящих и умных (причем потребность не будет даже линейно зависеть от объема данных), либо экспериментировать
с использованием программных средств автоматизации.

Допустим, нанимаем людей. Люди, несомненно, в задаче, которую они решают здесь и сейчас крайне хороши, но много ли задач они могут изучать одновременно каждую неделю?
Как минимум, это требует существенных трудовых затрат.

Почему анализ данных?

Сказать, что раньше ничего подобного не было - явно солгать. Всегда была статистика, всегда кто-то извлекал полезную информацию из данных. Но что тогда изменилось?

Собственно, как и везде: данных стало больше, вычисления стали дешевле.

Если раньше мы могли в основном применять только статистику, то сейчас стало доступно огромное число других инструментов (машинное обучение и его направления, например, глубинной обучение). Они, банально, оказываются точнее. А в некоторых случаях позволяют решать принципиально новые задачи.

Основные решаемые задачи

• Планирование спроса. Производим ровно столько, сколько нужно, повышаем прибыль
  и снижаем остатки на складах. Производство имеет большие мощности и заинтересовано производить в том количестве, которое будет необходимо

• Оптимизация цен

• Определение эластичности спроса товаров по различным товарам

• Перераспределение товаров между каналами сбыта. Товара, то, может, произвели достаточно, но вот если он находится на складе в другом конце страны, а спрос надо удовлетворить здесь и сейчас - мы в беде

• Определение зависимости эластичности спроса на товары от различных параметров

• Сегментация позиций и изучение особенностей спроса на них

Причем при определенных математических манипуляциях во всех пунктах можно изучать метрики для товаров, которых еще не существует (с некоторой потерей точности, но это того стоит).

Аналитика создает проблемы

В большинстве случаев с аналитикой ассоциируют большое количество статистики, графиков. Попробуйте во всем этом разобраться. Выглядит это так, будто одну головную боль (Excel) заменили на другую, но побольше. Потому люди и боятся аналитики.
А математики-программисты, которые ее создают, только возмущаются, что человек
просто не хочет думать головой.

Сам я всегда математике учился. Но вот не понимаю этого. Программы должны упрощать
и улучшать жизнь. Они должны подсказывать решение и давать краткое и простое объяснение почему так? (а уже потом, если человеку недостаточно, позволять ему во всем этом копаться).

Да, это сложно. Алгоритмы порой сложно интерпретировать простым языков.
Но мы на то и математики, чтобы решать такие проблемы

У нас нет данных

Не могу говорить за всех, но в большинстве случаев они все же есть (если мы говорим
о производствах и оптовых компаниях). Все используют CRM, ERP системы и другие системы электронного учета. У почти каждой из них есть свое API, по которому можно загружать данные, причем никакого вреда вашим системам не будет (иначе, у компаний разработчиков этих систем давно были бы проблемы). Тут данные о продажах, запасах, клиентах, закупленных, использованных материалов и т. д. Поверьте, для математика это ценный клад
(пусть его и необходимо сначала немного почистить).

А алгоритмы со временем не сломаются?

Есть проблема деградации моделей машинного обучения со временем. Решается она
не так сложно - контролируем модели, считая статистики на ее предсказаниях. Если начинает работать хуже обучаем на новых данных. Получается, что ухудшение работы модели в пределах небольшой погрешности.

Можно ли им доверять?

Вот тут, пожалуй, основная проблема. Она не решена полностью. Но и люди далеко
не рациональны (просто нам как-то надежнее им доверять и сразу понятно, кого винить).

Существует прямая зависимость между точностью и интерпретируемостью алгоритмов:

• Статистические методы. Хорошо интерпретируемы (математиком), но точность меньше,
  чем у остальных

• Машинное обучение. Алгоритмы, работающие на основе похожести объектов. Да, строгих доказательств нет, но все же есть понимание, почему алгоритм выдает именно такой результат

• Глубинное обучение (нейронные сети). Черный ящик. Если данных реально много, как правило, наиболее точный. Стоит отметить, что сейчас активно выходят статьи
  в направлении интерпретации принципов их работы

Что делать? Например, комбинировать алгоритмы, строить эвристики. Если методы в комбинации показывают существенно различные предсказания - стоит задуматься об их точности. Так можно застраховаться от провальных предсказаний. Вообще, тут есть достаточно способов, но в рамках данной статьи их не уместить.

Что дальше?

Затронута только самая верхушка. Каждый раздел, на самом деле, достоин отдельной статьи. И если такой материал будет полезен, рассмотрим более подробно.

Сейчас с командой тестируем прототип решения для оптимизации управления ценообразованием и прогнозирования спроса на данных компаний для подтверждения ценности. Несколько позже поделимся, каких цифр удалось достичь нам.

P.s.: это моя первая статья на habr. Не претендую на идеальность. Хотел лишь сделать полезный материал.