Русский
Русский
English
Статистика
Реклама

Кейсы в цифровом маркетинге

Ошибки в дизайне AB тестов, которые я думала, что никогда не совершу

09.09.2020 10:06:55 | Автор: admin
Запуская свои первые эксперименты, я считала, что все эти три / пять / семь самых популярных ляпов, о которых читала в статьях и слушала на конференциях уж точно не про меня. Тем более в дизайне теста помогал большой красивый шаблон исследований, принятый в компании.



Но на практике ждали подводные камни. Давайте поговорим, что может случиться, если вы немного налажаете в дизайне или недоработаете заполнение своего шаблона. И как все это исправлять.

Хотела нанести пользу новым пользователям, но они вели себя естественно не так, как задумано


Основной инструмент продаж в Skyeng бесплатное вводное занятие по видео с преподавателем-методистом. Мы проводим уроки на своей платформе, и бывает, что ученик пытается подключиться к звонку, но у него не захватывается микрофон или камера.


Это может произойти по десяткам причин от банального мисклика по уведомлению в браузере (как на этой картинке) до совсем экзотических случаев: например, как-то раз человек пробовал заниматься из Tesla, а там свое ПО, которое мы не поддерживаем.

Если быстро устранить проблему не получается, происходит технический срыв вводного урока:

  • у ученика остается негатив,
  • у преподавателя срывается занятие,
  • школа лишается конверсии в оплату здесь и сейчас (это основная метрика нашего отдела), компенсирует выход на урок преподавателю и запускает процесс по переносу занятия.

Страдают все. Поэтому в прошлом году мы затеяли кучу проектов по снижению технических срывов. Каждую идею тестировали: бизнес хотел понимать, работает ли фича и отобьются ли затраты на ее поддержку.


Одно из решений, которое надо было запустить в тест квест проверки оборудования. В оригинале это был вижет, вот его основные экраны.

Идея простая: не ждать момента выхода на урок, а предложить ученику проверить камеру и микрофон заранее когда он оставил заявку на обучение. Если что-то пойдет не так, сформируем тикет в техподдержку, и у ребят будет несколько часов, чтобы решить проблему.

Когда делила пользователей на тест и контроль, ожидала, что в тестовой группе люди будут кликать на виджет и пройдут квест. Что может пойти не так?


В контрольной группе (А) все шло своим чередом люди оставляли заявку и шли по своим делам. Но после теста мы увидели, что процент технических срывов в группах А и В был схож до сотой доли процента. Хм, это все в тестовой все группе проходили квест, но он не помогал, или никто не заходил внутрь? Мы не знали не было логирования.

Два этапа слились в один, и оказалось, что мы не можем их разделить. Пришлось перезапускать тест и логировать ключевой этап зашли в квест. Мы узнали, что в него заходили около 10% пользователей. Значимого роста метрики не случилось: квест канул в лету, саму проверку оборудования в итоге встроили в онбординг при глобальном редизайне. А я теперь проверяю на старте, будут ли у меня данные обо всех ключевых этапах воронки.

Не спрашивала себя А раскатить-то сможем?. Или история про звонок, который и правда очень важен для нас


Помимо технических проблем, иногда ученик просто не появляется на том самом бесплатном вводном уроке потому что проспал, вылетело из головы, что-то перенеслось и так далее.

Поэтому перед каждым занятием методисту нужно найти ученика, который готов к созвону: для этого система выдает ему несколько контактов, и преподаватель их обзванивает. Это отъедает 12-15% времени, которое человек может потратить на что-то более полезное или приятное.

Кажется, хорошая возможность для автоматизации пусть звонит робот. Но нужен А/В тест: ведь часть людей, услышав робота, может кинуть трубку. Возможность что-то просадить очевидна. Мы запустили тест и поначалу все шло на удивление хорошо, но Нас подвел перфекционизм.

В ряде сценариев роботу нужно было переводить звонки на человека-оператора: например, если ученик хотел отменить урок, оператор должен был внести изменения в CRM. А иногда роботу просто попадались разговорчивые собеседники система не была рассчитана на серьезное распознавание речи и поддержку диалогов, тут тоже нужно было подключать человека.

Мы хотели сделать опыт пользователя максимально бесшовным.


Поэтому решили переключать такие звонки сразу на входящую линию телефонии. Даже если вопрос не был срочным. Методисты в тех же случаях говорили: Вам перезвонят через 3-5 минут, чтобы переназначить урок. И у операторов был запас времени, чтобы распределять нагрузку и успевать помочь всем.

Договориться с роботом операторы не могли, и он создавал пики с несколькими срочными звонками в минуту. Схема оказалась немасштабируемой.


В пиковые моменты ситуация напоминала классическую игру) За фото спасибо Википедии и ее контрибьютору perepelin30.

Мы вернулись к схеме, которую используют методисты, если человек четко озвучивал запрос на перенос, робот отвечал Мы перезвоним. Сразу на операторов стали переводиться только потенциально срочные вопросы. После этих изменений пришлось запускать тест заново, так как изменение могло повлиять на ключевые метрики. А мы теперь перед каждым экспериментом задаем вопрос: Ок, если все пойдет хорошо, раскатить-то это сможем?


Запускала тест, проверяла, что все идет нормально, шла разгребать кучу текущих задач


В Skyeng есть очень классная и растущая часть аудитории это дети, которые учат с нами математику и английский. Но мы не можем проводить вводный урок для ребенка, если не присутствует его родитель. Прямо юридически не можем. Поэтому, если ребенок подключается один, происходит срыв урока. Дальше вы знаете: негатив, перезапись и прочее.

Родителей всегда предупреждали об этом устно, при звонке, на котором согласовывали время занятия. Но от звонка до урока проходило время и, конечно, не все помнили об этой договоренности.


Тогда пришло решение: давайте отправлять смс-напоминание. Примерно такой текст уходил родителю ближе ко времени вводного занятия.

Рост числа вводных уроков без срывов не значит роста конверсии в оплату. Нужно прикинуть ROI. Для этого проведем эксперимент:

  • рандомно поделим все заявки по детскому направлению на две группы,
  • родителям в первой группе не отправим ничего у них обычный флоу,
  • родителям в другой группе отправим два смс-напоминания: за 24 и за 1-2 часа до начала урока.

Стартовали тест, сделали проверку в первый день и пошли разгребать текучку.

Через пару недель заглядываю в дашборд а там кроме тестовой и контрольной группы есть еще какие-то пользователи.



Если мы хотели делить 50 на 50, то красный график явно говорит что-то пошло не так.

Оказалось, виной всему банальный баг: что-то не то с событиями, смс по триггерам уходили не всем. Баг починили, но тест пришлось перезапускать заново: в итоге, даже если у вас есть правильный дизайн теста, со всеми заполненными шаблонами и так далее это не значит, что тест пройдет гладко. И заглядывать в него стоит как можно чаще.

p.s. Я очень надеюсь, что этот текст поможет кому-то совершить меньше ошибок в своих тестах. Скорее всего у вас будут или уже есть свои забавные кейсы: будет круто, если вы когда-нибудь тоже ими поделитесь!

p.p.s. Пост основан на докладе в ростовском ИТ-комьюнити RnDTech если вы живете где-то на юге страны, присоединяйтесь, ребята делают отличный движ.
Подробнее..

Анализ состояния клиентской базы на основе реального кейса

23.09.2020 16:18:12 | Автор: admin
Наша компания регулярно проводит аудиты клиентской базы с целью анализа потенциала повторных продаж и выявления точек роста. В данной практической статье мы рассмотрим и изучим клиентскую базу на основе реальной компании.
image

Инструмент Отчет о повторных продажах


Для анализа повторных продаж необходим специализированный отчет, позволяющий разделить клиентов, купивших однократно, и клиентов, купивших два и более раз.

Для понимания контекста статьи уточним логику работы отчета.

Отчет автоматически сегментирует клиентскую базу по двум критериям: по частоте покупок (сколько всего сделано покупок) и давности покупок. Это похоже на FRM-анализ, но без денежной составляющей (пример рисунок 1).

Рисунок 1. Отчет по повторным продажам
image

Отчет формирует клиентов по сегментам с уникальными названиями, соответствующими частоте и давности покупок. Например, если покупатель приобрел товар недавно, он является активным, и купил один раз, то он попадает в сегмент Активные Новые. А если товар куплен давно, например, 8 месяцев назад, клиент превращается в уснувшего и мы найдем его в сегменте Новые Уснувшие.

Такая сегментация позволяет рассчитать и проанализировать важные для повторных продаж параметры:

  • долю клиентов, которые купили только один раз;
  • долю перспективных клиентов (купивших 2 раза);
  • долю постоянных клиентов.

Анализ этих данных позволяет сделать вывод о том, насколько клиенты удовлетворены услугами компании и готовы покупать повторно, может ли компания опираться на постоянную клиентскую базу, или она полностью зависит от потока новых клиентов.

Известны рекомендуемые значения для показателей повторных продаж:

  • для молодых компаний норма прироста постоянных клиентов 10-15% в год;
  • для компаний, возраст которых 2-3 года, желательная доля постоянных клиентов 25-30%;
  • по общемировой статистике доля повторных продаж у зрелых компаний (5-7 лет) должна составлять 40-60% от общей выручки.

Отклонения от этих цифр в меньшую сторону это явная точка роста для бизнеса клиента и возможность для партнеров продавать дополнительные услуги!

Кейс компании Электрооборудование


Рассмотрим первый пример компания Электрооборудование, которая занимается оптовой торговлей производственным электротехническим оборудованием. Отчет Повторные продажи предоставляет следующую картинку:
image

Рассчитаем показатели повторных продаж:

  • 7% или 225 постоянных клиентов за 3 года;
  • 2405 клиентов, купивших только 1 раз за 3 года;
  • 801 клиентов купили только 2 раза.

Отметим, что в компании Электрооборудование имеется большой потенциал для повторных продаж!

1518 покупателей купили только один раз! По различным причинам эти клиенты не вернулись к вам после первой покупки.

Также из всех клиентов лишь 121 (4%) являются активными и постоянными, обеспечивающие стабильный доход компании.

В соответствие с мировыми практиками, стоит ориентироваться на 25-30% постоянных клиентов. Явно нужно работать над Повторными продажами: повышать качество обслуживания клиентов, чтобы им хотелось купить у вас повторно, вовлекать и удерживать клиентов.

Это большая работа, и у многих есть сомнения, стоит ли тратить силы и время на организацию работы с постоянной клиентской базой. Не лучше ли работать каждый раз с новыми клиентами. Есть ли экономический смысл в повторных продажах. Заработает ли компания больше, если организовать этот процесс?

Ответ на этот вопрос однозначно ДА! Вы точно сможете заработать больше!
Познакомьтесь с оценкой экономической эффективности. Используя эту логику, вы сможете рассчитать экономику для своей компании.

Уточним вводные из отчета:

  1. Количество покупателей. Данные приведены на первом рисунке.
  2. Количество покупок. Новые клиенты совершают 1 покупку, перспективные 2-3, постоянные 4 и более.
  3. Добавим еще один параметр средний чек. Этот параметр нужен для расчета плановой выручки. В нашем примере средний чек составляет 25000 рублей.

Наша задача состоит в том, чтобы рассчитать и сравнить 2 варианта возможной выручки для компании с текущем уровнем продаж (7%) и возможной выручкой о повторных продаж, если бы компания доля повторных продаж соответствовала минимальному (25%) уровню.

Давайте сравним показатели выручки для нашей компании Электрооборудование и Электрооборудование лучшие практики. При текущем размере клиентской базы доля постоянных покупателей 25% это 432 клиента.

Рассчитаем и сравним выручку для этих двух вариантов.
image
Мы видим, как разительно отличается выручка компании, сфокусированной на работе преимущественно с новыми клиентами и умеющей повторно продавать.

Подведем итоги: для любого бизнеса важно стремиться увеличивать базу надежных лояльных клиентов (постоянных покупателей), вовлекать и удерживать покупателей. Это экономически выгодно.

Компании стремящиеся организовать повторные продажи работают не больше других, но чувствуют себя уверенно, имеют хорошую прибыль и очень стабильны! Хороших повторных продаж!
Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru