Русский
Русский
English
Статистика
Реклама

Сквозная аналитика

Utm-метки в сквозной аналитике особенности и проблемы

20.01.2021 14:20:49 | Автор: admin

Utm-разметка для систем сквозной аналитики тёмный лес или страшный кошмар специалиста?

Нитонидругое если сразу придерживаться правил илогики. Да, большинство компаний задумывается отом, что хорошобы отслеживать коммуникации склиентом ссамого начала. Нопроисходит это, лишь когда появляется необходимость всквозной аналитике.

Иречь идёт неотом, имеютсяли укомпании правила разметки для любого изканалов коммуникации. Речь отом, чтобы связать эти каналы воедино ииметь прозрачную структуру utm-меток вовсех каналах сразу. Иэто действительно важная задача.

Чем раньше выначнёте прорабатывать этот момент, тем лучше. Потратьте сейчас время, изучите базовые правила формирования utm-меток, проведите аудит данных идругие шаги напути ксозданию правильной utm-разметки. Акогда бизнес уже будет стабильно расти ивнедрение сквозной аналитики станет очевидным наруках уже будет необходимая история развития.

Что такое сквозная аналитика

Принцип сквозной аналитики заключается вотслеживании полного пути клиента отмомента первого касания допоследнего взаимодействия. Это позволяет получить реальную картину бизнеса, узнать какие маркетинговые усилия приносят наибольшую прибыль иоптимизировать затраты.

Главной особенностью сквозной аналитики является учёт реально полученной прибыли. Лиды здесь всего лишь промежуточный этап. Нас интересуют реальные продажи сихстоимостью. Тогда при оценке каждого канала, кампании идаже конкретного объявления/письма можно оценить ихэффективность отношение затрат кприбыли.

Рассмотрим пример. Запускаем две рекламных кампании водной рекламной системе. Вличном кабинете мывидим такую статистику:

Затраты

Количество лидов

Стоимость лида

Кампания 1

1000

100

10

Кампания 2

2000

250

8

Кампания 2привела больше лидов, причём стоимость одного лида дешевле. Делаем выводы, что, инвестируя больше вовторую кампанию, получим больше прибыли.

Подтвердить или опровергнуть эту теорию ипомоглабы сквозная аналитика, спомощью которой мыможем узнать, сколько лидов конвертировалось впокупателей.

Рассматривая данные из CRM в разрезе этих двух кампаний, мы бы увидели вторую и более важную часть, которая ранее не была доступна:

Затраты

Количество лидов

Стоимость лида

Количество продаж

Конверсия впродажу

Кампания 1

1000

100

10

50

50%

Кампания 2

2000

250

8

25

10%

Оказывается, большинство лидов изкампании 2холодные, абольшую прибыль принесла нам кампания 1.

Иэто самый примитивный пример пользы отсквозной аналитики. Насамом деле возможностей оптимизировать затраты иработу открывается куда больше. Можно найти узкие места воронки продаж, усовершенствовать клиентский путь, определить для своего бизнеса наиболее прибыльные каналы продвижения имногое другое.

Вкачестве источников информации выступают всевозможные каналы коммуникации исистемы отслеживания:

  • рекламные кабинеты,

  • социальные сети,

  • коллтрекинг,

  • системы веб-аналитики,

  • сайт,

  • CRM,

  • email-маркетинг,

  • другие источники.

UTM-метки иихцель

UTM-метки это набор специальных параметров иихзначений, которые добавляются косновному адресу. Всквозной аналитике метки служат инструментом отслеживания эффективности маркетинга отпервичных затрат дополучения прибыли, они помогают воспроизвести весь путь пользователя:

http://www.example.com/?utmsource=google&utmmedium=cpc&utmcampaign=BF&utmterm=blackfriday&utm_content=toplink

Существует 5основных меток иобщепринятые варианты значений.

Utm_source

Используется для обозначения источника перехода.

Возможные варианты:

yandex/google/facebook/vkontakte

Придерживайтесь единого формата: facebook, Facebook иfb это разные метки ивитоге статистика содного источника будет разбросана нанесколько записей, что усложняет аналитику.

Utm_medium

Используется для обозначения канала или типа рекламного трафика.

Возможные варианты:

cpc/cpa/social/email/sms

Utm_campaign

Используется для обозначения кампании. Варианты написания значений произвольные, нодля составных значений метки необходимо придерживаться установленного внутри компании стандарта.

Например, вметке должна быть указана дата, аудитория иназвание кампании, которое состоит изнескольких слов. Для разделения разных групп можно использовать вертикальную черту, адля разделения слов внутри одной группы использовать дефис:

utm_campaign=20112020|lal|black-friday

Разделители могут быть практически любыми (кроме & ониспользуется для соединения нескольких utm-меток). Главное условие: разделители смысловых групп ислов внутри группы обязательно должны быть разными.

Ктомуже необходимо придерживаться единого формата записи: если передаётся дата, товсегда вформате ddmmyyyy, если время, товформате hhmmss итак далее.

Всё это необходимо для получения корректных данных при дальнейшем анализе. Любая, даже незначительная, ошибка может привести кпотерям ивыбросам вданных.

Например, вырешили вкачестве разделителя смысловой группы использовать длинное тире :

utm_campaign=20112020lalblack-friday

Наосновании этих правил был написан алгоритм обработки метки, чтобы извлекать разные группы значений.

Нопроизошла ошибка ивместо длинного тире использовали два дефиса . Теперь получить изметки отдельно дату, аудиторию иназвание кампании вавтоматическом режиме неполучится, ведь такой разделитель небыл учтён вработе алгоритма. Такая ошибка привела нетолько кувеличению ручного труда, ноикпотере данных.

Utm_term

Дополнительная метка, которая поможет детализировать информацию. Обычно используют для обозначения ключевой фразы или названия объявления.

Utm_content

Ещё одна дополнительная метка, которая позволяет идентифицировать содержимое, если все предыдущие метки одинаковы. Еёможно использовать вA/B-тестах или определить сеёпомощью наиболее эффективное месторасположение ссылки.

Основные правила сбора меток

Необходимо:

  • соблюдать синтаксис меток;

  • использовать единые стандарты для одинаковых типов значений;

  • соблюдать регистр;

  • корректно разделять при необходимости смысловые группы взначениях меток;

  • незадавать слишком длинные названия для utm-меток (неболее 8Кб).

Подробнее оutm-метках читайте внашей статье.

Счего начать формировать utm-метки всквозной аналитике

Обязательно определите цели изадачи, которые должна решать сквозная аналитика. Выберите необходимые срезы для анализа данных. Спроектируйте кампании таким образом, чтобы они удовлетворяли выше установленным требованиям. Исходя изэтого продумайте utm-разметку.

Нодля создания utm-меток всквозной аналитике бывает недостаточно просто знать принципы ихзаполнения.

Многие компании построили омниканальную коммуникацию сосвоими клиентами. Аэто значит, что необходимо объединять данные сдесятков источников.

Идаже если сейчас выиспользуете всего 23источника, точерез некоторое время ихстанет больше иуследить завсем станет тяжелее.

Ещё тяжелее контролировать ситуацию, когда маркетингом занимаются разные агентства/команды, иони достаточно часто меняются. Укаждого есть свои нюансы работы иварианты, как правильнее.

Чтобы избежать ошибок ипутаницы вразметке, атакже обезопасить свои процессы при смене ЛПР или агентств, япредлагаю наначальных этапах построения utm-разметки регламентировать работу. Для каждого типа канала создайте документ, вкотором детально пропишите правила формирования значений utm-меток. Обязательно проверяйте соответствие значений меток между системами.

Пример регламента для email/push-канала:

Бывают задачи, когда сквозная аналитика строится для нетипичных задач бизнеса. Дать конкретные рекомендации для всех таких случаев невозможно, так как следует рассматривать каждый случай отдельно.

Например, вопределённых обстоятельствах можно присваивать значение utm-метки непоназначению, чтобы отследить важный для бизнеса показатель. Нонесоветую экспериментировать сэтим самостоятельно, лучше обратиться кспециалистам.

Динамические параметры utm-меток всквозной аналитике

Многие сервисы предоставляют возможность использовать динамические параметры при формировании utm-меток. Укаждого сервиса собственный набор возможных значений динамических параметров, которые позволяют автоматически подставлять вutm-метку соответствующее значение.

Документация для некоторых сервисов:

Яндекс.Директ

Фейсбук

ВКонтакте

Польза для маркетологов неоценима: динамические utm-метки помогают сократить ручной труд иуменьшают вероятность ошибок из-за человеческого фактора.

Аваналитике всё нетак радужно.

Динамические utm-метки всквозной аналитике могут создавать ряд проблем

Нет возврата динамических параметров

Как правило, такие сервисы невозвращают значения динамических параметров через собственное API.

Рассмотрим любой рекламный сервис. Для сквозной аналитики необходимо знать затраты наэтот канал истатистику пообъявлениям. Эти данные хранятся врекламном кабинете.

Вобъявлениях как значения меток используются динамические параметры:

http://www.example.com/?utmsource={source}&utmmedium={medium}&utmcampaign={campaignname}

При переходе поданной ссылке динамические значения заменяются нареальные ивсистемы аналитики или CRM передаются корректные значения.

Нопри попытке получить статистику срекламного кабинета поэтим объявлениям API возвращает метки без подстановки. Чтобы обойти эти ограничения, потребуется самостоятельно подставлять значения динамических параметров. Это легко сделать сосновными динамическими значениями: названием кампании, idкампании, названием групп объявлений или конкретных креативов итак далее.

Сложность возникает при использовании таких динамических параметров, которые вообще непередаются поAPI. Для Яндекс.Директа одно изтаких значений {position} позиция объявления вблоке, для Фейсбука {placement} название плейсмента или {sitesourcename} краткое обозначение источника. Внекоторых случаях можно воспользоваться ручной подстановкой меток или включить значения этих параметров вдругие utm-метки. Например, для Фейсбука значение параметра {sitesourcename} можно записать вназвании кампании при условии, что внутри данной кампании реклама будет транслироваться науказанный источник.

Значения динамических параметров неизменяются при редактировании данных

При создании объявления сдинамическими метками система запоминает ихзначения ииспользует для подстановки. Вдальнейшем, если вносить какие-либо изменения вэто объявление (поменять название объявления или кампании итак далее), тозначения динамических параметров останутся первоначальными.

Изэтого следует очень важное правило для построения сквозной аналитики: нельзя редактировать никакие креативы, содержащие динамические параметры. Только создавать новые. Этоже правило касается email-рассылок сдинамическими параметрами.

Что ещё стоит помнить про utm-метки всквозной аналитике

  1. Отсутствие или некорректность необходимых меток приведут ктому, что часть данных неполучится атрибутировать.

  2. Одинаковые метки для разных кампаний/объявлений приведут кудвоению данных.

  3. Частые ошибки вutm-разметке ведут кувеличению затрат насквозную аналитику, т.к. требуют более частого вмешательства аналитиков.

  4. Изменения вutm-разметке влекут изменения впроцессе сквозной аналитики.

Подробнее..

Из песочницы Работа с enterprise как мы не сделали систему аналитики для SaaS сервиса

08.08.2020 16:12:48 | Автор: admin
Мы сильно обрадовались новому контракту и уже представляли, как логотип клиента приукрасит наше портфолио. Но все оказалось не так радужно. Расскажем, как мы работали с дочкой крупной российской IT-компании, и почему у нас не получилось сделать крутой проект.



О проекте


Продукт клиента SaaS в сфере B2B, который работает по формату абонентской платы. Пользователь регистрируется, проходит авторизацию, пополняет свой счет и использует сервис.
Наша задача помочь клиенту собрать аналитику. Для этого нужно было выстроить процессы колл-центра, внедрить CRM и свести сквозную аналитику по ключевым показателям.

Структура процессов


Перед тем, как заниматься аналитикой, нужно подготовить ландшафт для ее сбора: структурировать процессы продаж и настроить интеграции с сервисами. В процессах мы обнаружили несколько проблем:

  1. Менеджеры отвлекались на ненужные этапы воронки продаж, и их работа никак не контролировалась;
  2. Отчеты по продажам ежедневно выгружались из админки вручную;
  3. Было мало конверсионных событий для сбора аналитики.

Далее сделали карту со структурой взаимодействия всех систем. В ней показано, по какой логике должны идти события, и на каких этапах собирается аналитика. Основные данные берем из CRM и соотносим их с данными по рекламе и конверсиям. Собираем в myBI, визуализируем в Power BI.

Воронки продаж


Продажи у клиента велись в Enybox CRM, их мы перенесли в amoCRM для удобства интеграции. Логику продаж получилось собрать в три воронки.


Три последовательные воронки

Первая воронка консультации. Нужна была, чтобы довести клиента до регистрации на платформе. Вторая воронка фиксация первых оплат. Далее пользователь подтверждал свою регистрацию. А мы, в свою очередь, отмечали момент оплаты и каждое новое пополнение.

Как должна была работать аналитика


Изначальные события Итоговые события
Форма обратной связи Форма обратной связи
Регистрация в сервисе Регистрация в сервисе
Первое пополнение
Тестирование (опционально при небольшом пополнении)
Повторные пополнения
Отказ от использования (прогрев через ОП)

Для нормальной работы системы аналитики нужно собирать все события = отмечать конверсионные действия. События уже попадали в систему аналитики, но изначально их было только два типа, что недостаточно для отчетов.

Отображение данных


Пример дашборда

После того, как собирались данные по конверсиям, нужно было сделать из них отчет. Основной инструмент визуализации данных Microsoft Power BI.

В момент конверсии на сайте генерировался отдельный ID для синхронизации рекламных систем и CRM. По этому ID мы связывали данные расходов и доходов. Так мы соотносили данные и могли строить по ним отчеты.

Юнит экономика. Retention



График rolling-retention'а сервиса с 1 по 12 месяц

Retention показывает, насколько пользователи вовлечены в приложение, и как часто они в него возвращаются. Но из-за того, что сервис работает в формате пополнений, пришлось поменять этот показатель на rolling-retention. Он показывает то же самое что и ретеншн, но подразумевает что все время, которое пользователь не пополнял кабинет, он тоже использовал сервис.

Конверсия в первое пополнение



Конверсия сильно зависела от количества новых клиентов и начала их оплат. Первые 9 месяцев мы получали примерно по 430 новых регистраций и по 90 оплат от новых пользователей ежемесячно. Конверсия в покупку в месяц регистрации составила 20%, по данным за 12 месяцев.

Помимо стандартных показателей


Была возможность видеть аналитику по касаниям клиента как в моменте простого перехода на сайт, так и в момент регистрации и дальнейших оплат. Накапливали данные, чтобы найти самые конверсионные цепочки:

Пользователь увидел рекламу пошел на сайт спустя время зашел и поискал в контексте зарегистрировался, но не оплатил погрели письмом предложили тест драйв потестил ОП дожал на первую оплату 3 года стабильных оплат.

Что пошло не так


В самом начале инициаторы проекта отложили старт до осени (обратились весной). Такие пробелы в работе происходили не раз. Но мы не задумывались об этом и принимали как должное. Главными проблемами были коммуникация и бюрократия в процессах нашего клиента. Так можно изобразить весь временной отрезок работы над проектом:



Медленная разработка


Причиной пробелов в разработке была структура работы клиента. Мы работали совместно с командой клиента и часть задач можно было выполнить только на его стороне по причине высокой секьюрности процессов.
Два спринта пропустили месяц потеряли

Все менеджеры и разработчики на их стороне работали по двухнедельным итерациям. Но они постоянно ставили наш проект последним по приоритету и часто наши задачи не попадали в спринт.

Плохая коммуникация и отсутствие экспертизы


За время проекта менеджер со стороны клиента (стейкхолдер) поменялся пять раз. Наверное все знают то чувство, когда проект, над которым ты работаешь вдруг становится не интересен клиенту. Но даже это можно решить.

Сложнее было разбираться с некомпетентностью стейкхолдеров. Один из них был отличным руководителем, который хорошо разбирался в своем продукте. Но он не понимал даже базовых принципов построения процессов продаж. Мы потратили несколько встреч, чтобы переубедить его убрать из воронки продаж этап со статусом Как дела?.

Представьте себе воронку продажи, как на рисунке выше. В одном из этапов менеджерам нужно узнать как дела у клиента. Как думаете, что произойдет с аналитикой конверсий такой воронки?

Менеджеры будут узнавать как дела у клиента вместо продвижения его по воронке, статус не тривиален. Не очевидно когда его ставить: после первого контакта или после квалификации. В итоге сделки прыгают туда-сюда по воронке или просто стоят, вместо последовательного движения.
В процессе продажи невозможно ставить промежуточные этапы, в которых будут накапливаться сделки. Иначе вся аналитика превратится в кашу, а менеджеры потеряют кучу контактов.


Факапы с нашей стороны


Мы не учли пропускную способность системы. На одно событие платформы в пике мы передавали до 10 запросов к amoCRM, чтобы выполнить логику бизнес-процессов.

100 000 ивентов в сутки * 10 запросов к amoCRM = 1 000 000 запросов в сутки

1 000 000 запросов в сутки / 10 запросов в секунду (ограничение амо) = 100 000 секунд = 27 часов

Итог: синхронизация никогда не закончится

Изначально выбрали amoCRM, так как проходи по лимиту запросов к системе. Но с течением развития проекта требования и функции увеличились и мы уперлись в лимит.
Мы выбрали неподходящий инструмент. AmoCRM физически не подходит для обработки большого количества запросов.
Также ошибка была в том, что мы разрабатывали все на GO, и за это отвечал один специалист. Когда он ушел, осталась гора legacy кода, который никто не смог бы разобрать. Но, к сожалению, или к счастью это не было нужно.

Опять все сломали


Этот кейс еще один пример проекта, который закопали в согласованиях и куче неоправданного менеджмента.

Нам не хватило экспертности в техническом плане. Клиенту устойчивости в управлении и желания довести проект до конца.

Но это опыт. Благодаря ему теперь подобные задачи выглядят максимально тривиально и мы уже воспроизвели подобное решение в рамках другого проекта.

Как можно было избежать неудачи


Чтобы не повторять таких кейсов в будущем, мы выделили аспекты, которые нужно соблюдать в работе с enterprise клиентами.

  1. Держать контакт с менеджером проекта: понимать его мотивацию; помогать ему защищать презентации перед руководителями. Делать все, чтобы стейкхолдер не потерял интерес к проекту.
  2. Соблюдать структуру коммуникации. Все важные чекпоинты проекта фиксировать по почте. Все обсуждения на встречах собирать в краткое резюме. Так специалистам со стороны клиента будет проще находиться в контексте действий. Не нужно будет каждый раз восстанавливать цепочку событий.
  3. Определять мотивацию специалистов со стороны клиента при старте работ. Если проект не стоит в их KPI и он изначально в низком приоритете завершить его будет практически невозможно.
  4. Думать наперед. Даже при разработке MVP нужно смотреть, на узкие места, которые могут возникнуть в будущем. Проект всегда расширяется и важно предусмотреть структуру, чтобы не переписывать весь код с нуля.



Автор статьи Фёдор Анисимов, маркетолог LAND PRO.
Подробнее..

Внедрение сквозной бизнес-аналитики

11.02.2021 16:05:53 | Автор: admin

Цифровизация бизнеса

Сегодня даже малый бизнес имеет возможность быстро запустить рекламу для любого сегмента аудитории, настроить несколько рекламных каналов иоценить их реальную эффективность впродажах продукта.

Сквозная бизнес-аналитика позволяет оценить рентабельность вложений в те или иные рекламные каналы. С ее помощью можно отследить путь клиента отпервого рекламного касания идосовершения сделки, атакже повторных сделок.

Сосквозной аналитикой повышается эффективность digital-рекламы. Компании, которые отслеживают всё ипринимают решения наоснове данных выигрывают конкурентную гонку. Поэтому можно сказать что сквозная аналитика жизненно необходима.

Компании тратят деньги нарекламу, привлекают клиентов, получают прибыль спродаж своих товаров иуслуг. Логично будет применить кинтернет-маркетингу показатель возврата инвестиций ROI, аточнее, ROMI.

Return on Marketing Investment или сокращенноROMI это показатель рентабельности рекламных кампаний и в целом инвестиций в маркетинговую деятельность. Рентабельность оперирует такими метриками, как окупаемость, прибыль, возврат вложений.

Посчитать ROMI нетак просто, как кажется. Посмотрим напростом примере.

  • Отчётность компании ООО Ромашка заянварь 2019года:

  • Затраты нарекламу: 120000рублей

  • Продажи 700000рублей

  • Маржинальный доход (без рекламных вложений) 210000рублей

ROMI равен75%. Коэффициент выше 0, т.е. вроде бы всё хорошо. Новсёли правильно мы посчитали?

Расчет ROMIРасчет ROMI

Представим, что застройщик построил новый ЖК, создал для него сайт изапустил рекламную кампанию. Вот статистика запервые полгода:

Статистика продажСтатистика продаж

Впервые 3месяца продаж нет. Если считать ROMI помесяцам, кажется, что реклама неработает. Нопотом появляются первые продажи. Делаем вывод, что люди, пришедшие порекламе впервые месяцы, покупают несразу. Соответственно, если построить управленческий отчёт за определённыйпериод, указывая все затраты ивсе продажи, он будет некорректным сточки зрения возврата инвестиций врекламу. Только вбизнесах смоментальным спросом такой отчёт будет приближённо отражать реальную ситуацию.

Сквозной принцип в аналитике

При использовании обычной управленческой отчётности, в которой зафиксированы расходы на рекламу и продажи за тот или иной период, более-менее корректно ROMI посчитать можно только при определенных условиях:

  • Моментальный цикл сделки

  • Отсутствие органического (не рекламного) трафика

В остальных случаях подсчёт будет некорректен. И главное, с такими данными мы можем посчитать только общий ROMI, но мы не узнаем ROMI отдельных рекламных каналов. Причина проста: мы знаем, сколько денег потратили на каждый рекламный канал, но не знаем, с каких именно пришли клиенты.

В связи с этим, необходимо отслеживать каждую заявку и заказ, сохраняя информацию о рекламном источнике. В этом и смысл сквозной аналитики. Без этого анализировать более чем 1 рекламный канал с не моментальными продажами не получится никак.

Логическая ошибка высокого ROMI

Основная логическая ошибка, которую сознательно, либо неосознанно, допускают многие маркетологи, это стремление к высокому ROMI. Кажется, что чем выше возврат инвестиций, тем лучше. Так ли это?

С одной стороны да, высокий ROMI является прекрасным достижением.

С другой, следует учитывать 2 вещи:

  • ROMI показатель относительный, он не говорит напрямую о прибыли или обороте, т.е. тех вещах, которые на самом деле интересуют бизнес. Высокий ROMI вполне может быть из-за эффекта низкой базы, и динамика его снижения при увеличении инвестиций заранее непредсказуема.

  • Сам по себе высокий ROMI это не конечная цель, а лишь промежуточная. Поэтому кейсы маркетологов, где они гордятся высокими показателями ROMI, вызывают вопросы, если не описано, что дальше с этим делать.

Как считать? Пример:

  • Средний чек: 10 000

  • Маржинальность:30% (3000)

  • Конверсия (впродажу): 2,00%

  • 100 кликов мы можем получать по 10 рублей за клик

Расчет ROMIРасчет ROMI

Зеленым выделены лучше показатели, рыжим худшие.

Как видим, при небольшом количестве трафика у нас максимальный ROMI, но минимальная выручка. Далее, при увеличении бюджета ROMI падает, стоимость привлечений 1 клиента растёт. До какого-то момента растёт общая прибыль, потом она начинает также падать. И наоборот, при большом трафике максимизируется ROMI уменьшается и становится отрицательным.

Зато валовая прибыль растёт имаксимизируется лишь при ROI ~200%. Если же учитывать повторные заказы (LTV), картина меняется. Допустим, число повторных заказов равное 50% от числа новых заказов. Тогда прибыль максимизируется при ROI равном ~140%. Если же повторных заказов больше, выгодней удерживать еще меньший ROI.

Аесли повторных заказов больше? Тогда вполне возможно, что ROI ниже 100% даст максимальную долгосрочную прибыль. Понятно, что вреальных условиях даже максимизация прибыли невсегда является приоритетом: часто бывают риски, проблемы роста имногое другое. Ноона явно намного важнее, чем максимизация ROI, которая является ложной целью.

Сквозная аналитика как жизненная необходимость

Неболее 30% клиентов делают заказ при первомже посещении сайта. Конкретное количество зависит оттеплоты рынка ицикла принятия сделки, которая обычно невелика. Прежде чем что-то купить (совершить конверсию), человек, привлечённый разными рекламными источниками, заходит насайт несколько раз. Мультиканальные конверсии появились вGoogle Analytics несколько лет назад, номногие досих пор используют принцип LastClickWins, т.е. считают конверсии попоследнему заходу.

Правильнее будет учитывать все касания (заходы) посетителя ииспользовать более продвинутые модели атрибуции.

Аналитика по каналамАналитика по каналам

Проблема1:

Посетитель заходит насайт изразных источников. Конверсия зачастую мультиканальна. Нужно применять некие модели атрибуции.

Проблема2:

Покупатель совершает не1покупку. Повторные покупки могут быть намного больше, чем размер первого заказа. Значит, нужно считать LTV, а для этого не обойтись без внедрения CRM.

Проблема3:

Каналы общения. Нужно отслеживать все каналы. В противном случае мы получим аналитику, не точно отражающую реальность, с необоснованными выводами, писанными вилами по воде.

Нельзя при этом считать заявки только через сайт или даже заявки + звонки. Вот поэтому необходимо выстраивать сквозную аналитику.

Сквозная аналитика в маркетинге метод анализа эффективности маркетинговых инвестиций (ROMI) на основе данных, отслеживающих полный путь клиента, начиная от просмотра рекламного объявления, посещения сайта и заканчивая продажей и повторными заказами (LTV).

Для реальной оценки эффективности маркетинга стоит поставить конкретную задачу:

  • Определить KPI для оценки;

  • Определиться с тем, какими должны быть дашборды, отчеты;

  • Выяснить, кто отвечает за проведение оценки эффективности РК в организации;

  • Проанализировать пути пользователей;

  • Учесть данные как онлайн, так и офлайн, убедиться в их качестве;

  • Провести анализ ряда моделей атрибуции, что даст возможность подобрать решение, наиболее подходящее для конкретного бизнеса.

Обычно для сквозной аналитики требуется объединить информацию изрекламных каналов (например, Google Ads, Яндекс.Директ, Facebook), каналов коммуникации (телефонный звонок, онлайн-заказ через корзину насайте, электронная почта идр.) иCRM-системы, где находится информация опродажах (Wikipedia).

Аналитика трафикаАналитика трафика

Ни показы, ни клики, ни даже звонки нескажут ничего. Мы точно знаем, сколько затратили нарекламу, инам нужно также точно знать, сколько мы сэтого заработали. Ксчастью, сейчас это стало реальностью.

Кому нужна сквозная аналитика

Рассмотрим необходимые и желательные условия для того чтобы внедрение сквозной аналитики было полезным.

  1. Компания должна продавать товары или услуги в онлайн. Например, к ритейлу она мало применима, а к ecommerce более чем.

  2. Чтобы внедрение было целесообразно экономически, рекламный бюджет рекомендуется не менее 1-2 тысяч $ в месяц.

  3. Чем больше рекламных каналов, тем выше эффективность аналитики. Сравнение внутри 1 канала тоже полезно, но на 3-5 каналах эффективность наверняка будет выше. Вы сможете сравнивать и каналы друг с другом и кампании, запросы, настройки внутри каналов.

  4. У вас есть повторные продажи и есть % отвала (т.е. конверсия лидов в продажу далека от 100%). Иначе можно обойтись просто веб-аналитикой.

Кому необходима сквозная аналитикаКому необходима сквозная аналитика

Кому не обязательна сквозная аналитика

Компании с очень длительным циклом сделки. Они будут ждать, пока система аналитики начнет приносить реальную пользу, потратив заэто время существенную сумму насам сервис.

Бизнесу свысокой маржинальностью (высокая маржа нивелирует управленческие имаркетинговые ошибки инеэффективность, обеспечивая больший потенциал для масштабирования и роста).

Компаниям сLTV меньше нескольких средних чеков: отчет обисточниках первой покупки дает представление обэффективности канала вцелом.

Проблемы внедрения сквозной аналитики

Внедрение сквозной аналитики напрактике является непростой задачей, ивпроцессе появляется немало ошибок или сознательных компромиссов, которые существенно искажают результат.

Первой задачей является убеждение руководства в необходимости сквозной аналитики как таковой. Требуется показать что обычный управленческий отчёт, в котором есть расходы на рекламу по каналам и доходы с продаж это далеко не сквозная аналитика, по многим причинам:

  • Разделение на каналы возможно только в расходах, но не в доходах. Это хорошо, когда рекламный канал один.

  • Без связки рекламного источника с продажей, при долгом цикле сделки даже интуитивного понимания, какая реклама сработала и сработала ли вообще, например, реклама запущена зимой, а заявки и продажи начались летом. Без сквозной аналитики мы не узнаем, были ли эти клиенты прогреты рекламой с самого начала или же они обратились по другим источникам.

Внедрение сквозной аналитики позволяет понимать, какие рекламные каналы, кампании и ключевые слова участвовали в привлечении клиента. Такая детализация позволяет эффективно управлять рекламными кампаниями и экономить существенный % рекламного бюджета. Система Roistat заявляет об экономии до 56%, но даже более пессимистичные 30% при бюджете в 200. тыс в месяц составляют сумму ощутимые 60 тыс. рублей.

Проблема 1: отдел продаж

Именно отдел продаж, анемаркетинга, является основной точкой взаимодействия склиентом, точкой получения данных отнего иточкой занесения этой информации внекую систему, изкоторой она потом попадает ваналитику.

Т.е. без грамотного построения отдела продаж небудет сквозной аналитики. При этом нужно, чтобы отдел продаж использовал вработе CRM-систему. Всего лишь!

Проблема втом, что CRM сама посебе отделу продаж ненужна отслова совсем. Чтобы она стала ему нужна иневоспринималась вштыки, нужно соблюдение множества условий:

Для менеджера:

  • Система должна сразу облегчать какие-то привычные действия, которые раньше делались менее удобно;

  • Она недолжна дублировать другие системы идействия только замещатьих;

  • Обращения всех клиентов должны попадать всистему автоматически;

  • Общение склиентами (отправка писем, звонки ит.д.) проходит внутри системы.

Для руководителя (РОП`а):

  • Прозрачная информация покаждому менеджеру иего действиям;

  • Настройки распределения лидов взависимости отэффективности работы сотрудников;

  • Гибкая система выстраивания KPI менеджеров иотчётности.

Проблема 2: техническая

Популярные облачные сервисы (в том числе системы сквозной аналитики) обычно интегрируются друг с другом в пару кликов. Однако в реальности всё не так просто, как кажется. Рассмотрим некоторые проблемы, которые могут возникнуть:

Для облачных систем аналитики.

  • Ограниченная функциональность. Вы не можете настроить всё так, как нужно именно вам. С некоторыми системами нет стандартной интеграции, и приходится интегрироваться при помощи API и вебхуков.

  • Облачная система аналитики обычно является для вас закрытым чёрным ящиком. Вы не знаете, что и как она считает, и приходится просто верить. Точность подсчёта может вызывать много вопросов: данные в системе аналитики часто не совпадают с данными CRM, а сделки не идентифицируются с источником.

  • Работая с облачной системой аналитики, вы доверяете свои данные третьей стороне. В крупных компаниях отдел маркетинга может просто не получить разрешения от службы безопасности на подобные интеграции с CRM.

  • Еще одно следствие прошлого пункта: не всегда можно выгрузить данные в удобном формате. Вряд ли вы сможете сменить систему аналитики с переносом всех ваших данных.

Для кастомных систем аналитики.

Здесь дела обстоят ещё сложнее. Спроектировать и построить собственную систему аналитики непросто, так как может не хватить сил 1-2 штатных разработчиков, а надеяться получить такой результата от фрилансеров ещё более опрометчиво. В любом случае, прежде чем приступать к разработке, стоит чётко определить:

  • Источники данных чем их меньше, тем проще;

  • Какие данные потребуются и как их объединять;

  • Выбрать систему визуализации и продумать форматы отчётов.

Наибольшие проблемы обычно возникают с выгрузкой и объединением данных. Не все системы позволяют выгружать не агрегированные данные. У многих систем есть ограничения по числу запросов по API.

Если не говорить о крупных компаниях (в штате которых есть и разработчики, и аналитики, у которых уже построен корпоративный DWH), для выгрузки данных лучше воспользоваться готовыми коннекторами, а для визуализации популярными на рынке решениями, такими как Microsoft Power BI или Google Data Studio.

Модели атрибуции

Зачем нужна атрибуция

Стандартно воронка продаж имеет четыре этапа:

  • Человек знакомится сторговой маркой;

  • Он знает окомпании, норазмышляет, совершатьли покупку, и поэтому проводит сравнение стоимости ианализирует характеристики предлагаемого товара;

  • Этап конверсии покупка совершается;

  • Этап удержания покупатель повторяет покупку.

Как известно, удержать тех, кто уже совершил покупку, намного дешевле для компании, чем искать новых покупателей. Привлечение используют не персонализированные кампании, которые нацелены наширокий охват итрудно поддаются оценке.

Удержание подразумевает применение более целевых кампаний, для которых значительно проще проводить анализ и рассчитывать эффективность. Конкретный пользователь известен и теперь его действия ипокупки можно отследить.

Чтобы разобраться, какие используемые рекламные каналы икампании срабатывают наэтапах имеющейся воронки, необходимо воспользоваться атрибуцией.

Атрибуция это распределение ценности от конверсии между кампаниями, которые продвигали пользователя по воронке. Она помогает ответить на вопрос, в какой мере каждый из каналов повлиял на ту прибыль, которую вы получили в итоге.

Выбрав модель атрибуции, которая подходит для конкретного бизнес-проекта, можно распределить рекламный бюджет эффективно, что, всвою очередь, поможет сократить затраты иувеличить прибыль.

Доступные модели атрибуции

Моделей атрибуции много, иони поддаются определенной классификации. Опираться нужно нато, какая именно логика применяется вовремя расчета:

  • Если вся ценность отдана единственному каналу, участвовавшему вворонке, то это одноканальная модель атрибуции;

  • Если обратить внимание наместо канала вцепочке непосредственно перед покупкой, то применяется атрибуция наоснове позиции;

  • Если распределение происходит между всеми участвовавшими вцепочке каналами, то это многоканальная модель;

  • Если врасчет берутся прочие факторы нетолько позиция, то алгоритмическая.

Позиции канала в цепочке

Данные варианты считаются наиболее простыми, они доступны пользователям бесплатной версии Google Analytics, а также Яндекс.Метрики и других систем. Рассмотрим 6 позиций канала в цепочке.

First Click (FCM)

Вцепочке изчетырех касаний ценность уходит первому каналу.

Преимущества:

Легко настраивается, нетребует вычислений или иных аргументов при распределении ценности среди использованных каналов. Помогает маркетологам сформировать узнаваемость торговой марки испрос.

Недостатки:

Недемонстрирует всей картины, заставляет переоценить каналы первого уровня. Пользователь обычно совершает несколько касаний, однако модель игнорирует данный момент.

Кому подходит:

Подойдет проектам, для которых имеет значение создание или повышение узнаваемости собственного бренда, увеличение охвата аудитории. Модель даст информацию отом, где лучше покупать трафик для последующей конвертации.

Last Click (LCM)

Одноканальная модель, где ценность конверсии передается последнему каналу, скоторым покупатель соприкасается непосредственно перед конверсией. Снова вклад предыдущих каналов полностью игнорируется.

Преимущества:

Используется многими маркетологами. Позволяет оценить кампании, цель которых быстро спровоцировать покупки, допустим, вовремя определенного сезона.

Недостатки:

Недемонстрирует всей картины, заставляя исключить прочие каналы цепочки.

Кому подходит:

Подходит бизнесам скоротким циклом продаж, которые обычно неиспользуют более трех каналов для рекламы.

Last Non-Direct Click (LN-DC)

Одноканальная модель, которая представлена вGoogle Analytics, применяется там поумолчанию. При этом ценность конверсии атрибутируется, как ивпредыдущем варианте, по последнему каналу.

Однако различие втом, что если это прямой заход, ценность будет атрибутирована предыдущему источнику.

Например, пользователь переходит изсобственных закладок илиже прямо вводит ссылку. Вероятно, он хорошо знает бренд, является уже привлеченным покупателем, которого нетребуется брать врасчет.

Преимущества:

Вэтом случае можно исключить каналы, которые незначительны сточки зрения расходов накампанию, полностью сосредоточившись наоплачиваемых источниках.

Может применяться вкачестве базы для сравнения.

Недостатки:

Недемонстрирует всей картины, неучитывает вклад прочих каналов вконверсию. Предпоследним каналом чаще всего является электронная почта, однако эта модель непозволяет отследить, где именно покупатель познакомился сторговой маркой ипочему оставил почту, чтобы витоге прийти кпокупке.

Кому подходит:

Модель подходит, если нужно оценить эффективность определенного платного канала, аузнаваемость бренда уже неявляется важным аспектом.

Position Based(PB)

Многоканальная модель, где наибольшую ценность получают первый канал то есть тот, который познакомил покупателя иторговую марку, ипоследний, что закрыл транзакцию. Каждому изних присваивается сорок процентов. Навсе средние каналы приходится двадцать процентов.

Преимущества:

Ценность передается каналам, которые привлекают имотивируют покупателей т.е. играют важнейшую роль.

Недостатки:

Случается, что именно средние каналы вцепочке больше продвигают покупателя, чем те, которые получают наибольшую ценность.

Кому подходит:

Этот вариант подойдет бизнесам, которые рассчитывают привлекать новых пользователей иподталкивать уже заинтересованных ксовершению покупок.

Time Decay(TD)

Вэтом случае ценность конверсии будет распределена между каналами, которые заняты вцепочке, попринципу нарастания. Первый источник получает наименьшую ценность, последний наибольшую.

Преимущества:

Рассматриваются все каналы. Наибольшая ценность отдается тому, который всеже сумеет подтолкнуть кпокупке.

Недостатки:

Недооценивается вклад отдельных каналов, которые могли повлиять нарешение покупателя.

Кому подходит:

Подходит тем, кто желает оценить эффективность рекламных кампаний, ограниченных повремени например, распродаж.

Linear model(LM)

Применяя данную модель, ценность конверсии принято разделять между всеми каналами цепочки.

Преимущества:

Более продвинутая, чем одноканальные модели. Позволяет учесть все каналы вцепочке, которые были задействованы перед покупкой.

Недостатки:

Непомогает перераспределять бюджет. Разделение его между всеми каналами поровну может оказаться неэффективным.

Кому подходит:

Подойдёт бизнесам с длительным циклом продаж. Вэтом случае важно поддержание контакта спокупателем навсех этапах прохождения воронки. Пример B2B-компании.

Насегодняшний день имеется ряд исследований, которые доказывают, что маркетологи вЕвропе, США или СНГ чаще всего обращаются кмодели LCM. LCM кажется наиболее понятной, хотя иобесценивает влияние всех каналов в цепочке, кроме последнего.

Причинами, почему наблюдается такая ситуация, можно считать следующее:

  • Непонимание потенциального эффекта отмоделей атрибуции, использующих более сложный расчет. Если прямо объяснить, что алгоритмические модели могут принести увеличение прибыли наопределенный процент, врядли маркетологи откажутся отэтого.

  • Заатрибуцию нет ответственного, т.е. разные маркетологи могут применять входе кампании различные варианты, что приводит ктому, что реальный доход оказывается меньше атрибутированного.

  • Слишком разрозненная информация. Google Analytics позволяет использовать стандартные отчеты, вкоторых, ксожалению, нет места офлайн-данным, ROPO-эффекту ит.д.

Если эти причины устранить, то проблема атрибуции будет решаться намного проще.

Обзор сервисов иинструментов

Организовать сквозную аналитику можно различными способами, далее представлены наиболее популярные сервисы иинструменты для этого.

Рассмотрим, какие данные можно собрать вединый механизм врамках построения системы сквозной аналитики. Это будут как данные опродажах, так идругие показатели.

Втаблице приведены примеры типов систем, которые могут использоваться вкомпании, ипримеры наиболее популярных их представителей. Соответственно, укаждой компании свой набор источников, иполное совпадение является очень редким.

Сервисы и инструменты для сквозной аналитикиСервисы и инструменты для сквозной аналитики

Типы сервисов иинструментов

Разделим представленные сервисы на3группы:

1. Недорогие сервисы всё в 1

Включают всебя базовую сквозную аналитику и другие инструменты для организации маркетинга и продаж, например:

  • CRM-система

  • Управление рекламой

  • Лидогенерация

  • Взаимодействия ссоцсетями

  • Создание landingpage

  • Виджеты настраницу, сайт (онлайн-консультант, обратный звонок ипр.)

  • Автоворонки

Типичные представители:

  • LPTracker.ru

  • Expecto.me

  • CarrotQuest.io

  • PrimeGate.io

Подходит для микробизнеса. Оплата сервиса врайоне 1тыс. рублей вмесяц.

2. Сервисы сквозной аналитики

Специализированные сервисы, дающие более глубокую икачественную аналитику. Обычно интегрируются сCRM, системами веб-аналитики и колл-трекинга. Некоторые структуры выросли как раз изэтих систем.

Типичные представители:

  • Roistat

  • Alytics

  • Comagic

  • Calltouch

Подходит для малого и среднего бизнеса. Бюджет врайоне 5-20 тыс. рублей вмесяц.

3. Кастомные решения

Подходит для среднего икрупного бизнеса. Бюджет зависит отчисла интегрируемых систем, объёма данных, типов отчётов имногих других параметров.

Обычно аналитическая система состоитизтаких компонентов,как:

  • Коннекторы сбора данных

  • База для хранения иобработки данных (ETL, DWH)

  • Аналитический модуль (отвечает залогику объединения данных на базе сквозных идентификаторов)

  • Система визуализации данных (обычно, BI) снастроенными отчётами

Коннекторы собирают данные изтаких систем,как:

  • Рекламные каналы

  • Сайт

  • CRM

  • Телефония, почта, каналы коммуникаций (если эти данные неагрегированы вCRM)

Для внедрения сквозной аналитики необходимы следующие инструменты:

CRM

Для интеграции подходит любая система, имеющая API ивозможность настройки кастомных полей.

Наиболее популярные вРФ:

  • Битрикс24

  • AmoCRM

  • RetailCRM

  • Microsoft Dynamics (вкрупных компаниях)

Наиболее популярные вмире:

  • SalesForce

  • MicroSoft Dynamics

Сквозные идентификаторы:

Обычно используется ClientID (Google Analytics), ивдополнение кнему можно взять другие например, UserID Яндекс.Метрики, CoMagic, собственный идентификатор.

Базы хранения иобработки данных:

Это может быть как облачное решение:

  • Google BigQuery

  • Microsoft Azure CosmosDB

  • Яндекс ClickHouse

  • Amazon Redshift

Так и локальная база, развёрнутая насобственном сервере или тоже воблаке:

  • MySQL

  • MSSQL

  • PostgreSQL

Коннекторы:

  • Коннекторы собственной разработки;

  • Публичные коннекторы систем исторонних разработчиков (например, для Google Analytics, Google Data Studio, Microsoft Power BI, существует множество бесплатных коннекторов кразличным системам);

  • Сервисы коннекторов данных, например:

OWOX BI Pipeline

Albato.ru

apix-drive.com

supermetrics.com.

Системы визуализации:

  • BI-системы, такиекак:

Google Data Studio

Microsoft PowerBI

Qlik Sense /View

Tableau

  • Дашборды, построенные набазе публичных сервисов

  • Кастомные дашборды например, наD3.js

Другие системы:

  • Системы автоматизации контекстной рекламы иуправления ставками (например, Origami, Alytics, K50, Marilyn);

  • ERP, системы управления складом.

Интересно, что ванглийском языке нет общего термина для сквозной аналитики. Среди зарубежных систем принципы используются теже самые, нонатермине никто незацикливается. Есть business analytics, business intelligence, ROMI analytics, LTV analytics. Существуют также end-to-end analytics иcross-cutting analytics, но упоминаются редко. Наверное, там всем понятно, что аналитика должна быть сквозной поопределению.

Рекомендации по внедрению сквозной аналитики

Подводя итог, если вы загорелись идеей внедрения сквозной аналитики, помните:

  1. Самое сложное ненастроить BI-систему для отображения нужных графиков, авнедрить CRM так, чтобы все данные проходили через неё. Если CRM уже внедрена, построение сквозной аналитики сильно упрощается. Нотолько если это популярная облачная CRM изнебольшого списка, аненекая малоизвестная инеимеющая API. Если увас не популярное решение без API, сложность задачи становится равносильной оной при отсутствииCRM.

  2. Чтобы отCRM была реальная польза, ей следует быть омниканальной, видеале все лиды совсех каналов должны попадать внеё автоматически. Нопри этом CRM может успешно работать без интеграции сERP. Если увас старая 1С, ипридётся выставлять счета вручную без синхронизации, то это проблема, которая несильно мешает внедрению CRM иработе вцелом.

  3. Прежде чем начинать, нужно быть готовыми ксложностям иктому, что интеграции в1клик работают невсегда иневсегда дают полную интеграцию внужном виде, азначит только API, только хардкор. Готовых решений нет ни укого. Увсех своя специфика, нодаже набазе самых популярных CRM (Битрикс иАmo), самой популярной системы сквозной аналитики (Roistat), самого популярного движка сайта (Битрикс), самой популярной SIP-телефонии, самых популярных консультантов (Живосайт или Livetex) нет работающей интеграции всего ився изкоробки так, как этогобы хотелось.

  4. Если вы владелец бизнеса, сначала оцените, сколько времени иденег уйдет, потом умножьте на3иподумайте, стоитли делать сейчас или позже. Стоитли делать всё сразу (внедрять CRM, запускать рекламу инастраивать сквозную аналитику) илиже можно поочереди (сначала CRM иреклама). Сквозная аналитика нужна, когда увас много каналов привлечения трафика. Если увас пока только Яндекс.Директ, то выгодней сначала подключить Google.Ads идобиться там схожей стоимости лида, ауже потом настраивать сложные системы.

  5. Недумайте, что вбольших кампаниях дела обстоят лучше. Крупный бизнес вообще неотдаст данные изCRM стороннему сервису (защита персональных данных). Поэтому маркетологи вбрендах думают вкатегориях обезличенных сегментов, анеоuser_id. Даже вкрупном ритейле бывает так, что информация омаркетинговых акциях заносится в разное ПО(кассовое, CRM ит.д.), инет единой базы, ROI акций несчитается.

  6. Последнее иглавное. Несмотря навсе сложности, сквозная аналитика всё-таки жизненно необходима для построения бизнеса вусловиях высокой конкуренции.

Как считали эффективность рекламыКак считали эффективность рекламы

Куда движутся системы сквозной аналитики

Трудно сказать наверняка, но есть некоторые предположения:

  • Упрощение истандартизация интеграций. Пока идёт этап интеграции всего совсем, носкоро насыщение будет достигнуто, иостанется только упрощать интеграцию до1клика идобавлять тонкие настройки винтерфейс вместо текущих скриптов ивебхуков.

  • Замена маркетинговых метрик набизнес-метрики. Т.е. изинструмента маркетолога система превращается винструмент для всех маркетолога, аналитика, РОПа, генерального директора, собственника бизнеса. Дашборды должны гибко настраиваться под каждого сотрудника.

  • Увеличение точности данных засчёт более сложных моделей атрибуции иразделения алгоритмов порыночным нишам/ портретам клиента. Модель атрибуции должна быть умной, наоснове воронки и всех имеющихся данных. Представьте, что мы оцениваем вклад рекламного источника, втом числе анализируя записи разговоров клиента сменеджером. После однойрекламы звонок был поделу ипривёл кпродаже. После другой звонок был, нокпродаже непривёл. Алгоритм могбы распознать голос ипроанализировать стой или иной степенью достоверности, виноватли менеджер, или, например, реклама обещала что-то несоответствующее действительности.

  • Помимо имеющихся метрик, можно ввести коэффициент лояльности % влияния рекламы наповторную покупку. От0(повторную продажу делает только реклама) до100% (повторная продажа совершается независимо отрекламы). Коэффициент зависит ототрасли, известности бренда, его программ лояльности и,конечно, уникальности продукции.

  • Незабываем добавлять k-factor, т.е. рекомендации банальный сарафан. Если средний ваш клиент приводит ещё 0,5клиента, неверно это игнорировать при подсчёте эффективности маркетинга. ROMI иLTV нужно считать сего учётом.

  • Помимо предоставления набора дашбордов, BI-системы движутся всторону поиска наестественном языке. Т.е. системы должны двигаться всторону интеллектуальности иизмаркетингового инструмента превращаться вбизнес-инструмент.

    Что же, надеемся увидеть много интересного вбудущем!

Желаюудачиво внедрении сквозной аналитики!

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru