In-App-Review. Фильтруем негативные отзывы

Ни для кого не секрет, что,если пользователю не нравится ваше приложениеон с большой вероятностью оставит негативный отзыв.Ноесли его все устраиваетдалеко не факт,чтоонзахочет тратить время, чтобы поставить оценку в маркете.

В результате итоговый рейтингприложенияможет быть намного ниже, чем реальное впечатлениепользователя.

Googleпредложилсвое решениеэтой проблемыупростить сценарий выставления оценки при помощиIn-App-Review.

Мы в Кошельке поставили перед собой задачу увеличить количество положительных оценок приложения, используя новое API. Для этого мы изучили его, интегрировали в свой продукти провели ряд показательных тестов в попыткахнайтилучшее решение.Результаты нас порадовали. Если заинтересовались прошу под кат.

Пара слов об интеграции

Ключевая особенностьIn-App-Reviewзаключается в том, что пользователю не нужно покидать приложениеи переходить в маркет, чтобы оценить его. Все,что ему надо сделать это выбрать нужное количество звезд в появившемся на экране диалоге, ивуаляоценка поставлена, юзер и разработчик счастливы!

В документациипроцесс интеграции описан довольно неплохо. Все делается элементарно, икопипаститьинфу сюда нет смысла. Однако реальность сурова, и даже при интеграции такого, казалось бы, простого API можно столкнуться с некоторыми неприятными моментами:

1. Диалог с оценкой появляется только на сборке, загруженной изPlayMarket. Не стоит об этом забывать и рвать на себе волосы в попытке понять, почему же диалога нет;

2. Из первого пункта вытекает вопрос: а как тестировать? Этот вопрос также довольно неплохо описанв доке,к нему мы вернемся чуть позже;

3. Разработчик никак не может узнать, был диалог показан или нет. APIIn-App-Reviewпредоставляетколбэки, но информации, полученной от них, недостаточно, чтобы понять, увидел ли пользовательрейтинговалку.

Что не так сколбэками?

Для того, чтобы отобразилось окно с выбором оценки, в коде необходимо сделать две операции:

1. ВызовметодаrequestReviewFlow

   

   Послевыполнениязапросав случае успехамы получим объектReviewInfo, необходимый для отображения диалога, а в случае неудачи ошибку.

   Почему операция может завершиться неудачно? К примеру, если вашеприложение запущено на устройствеHuaweiбезPlay-сервисов, то получениеобъектаReviewInfoзавершится с ошибкой, и вы сможете в этом случае перенаправить пользователя вAppGallery.

2. Непосредственно запускрейтинговалки вызовметодаlaunchReviewFlow

   

   На этот метод также можно навеситьколбэк, но узнать результат запуска диалога не получится. Все, что вы узнаете чтопроцессIn-App-Reviewзавершен. Поставил пользователь оценку или нет, оставил ли он отзыв, увидел ли он вообще соответствующее окно с возможностью оценить приложение тайна, покрытая мраком.

   С этим нам пришлось просто смириться. Перенаправить пользователя вPlayMarket, если он не увидел диалог, или хотя бы собрать соответствующую аналитику,не получится.

И чуть-чуть о тестировании

Как уже было сказано выше, протестировать появление диалога можно лишь на сборке изPlayMarket. Чтобы это сделать,Googleпредлагает два способа:

1. Internaltesttrack: создаемтестовую версию вPlayConsole, загружаем тудаapk-файл с реализацией API, затем формируемсписок тестировщиков, которым эта версия будет доступна для скачивания. После этого ждем, пока версия будет доступна для скачивания вPlayMarket;

2. Internalappsharing:это что-то вроде тестового полигона, который позволяет сделать то же самое, что и способ, описанный выше, но при этом пропустить некоторые шаги, которые занимают много времени(тем самым освободив разработчиков и тестировщиков от необходимости дожидаться доступности сборки для скачивания).

Сначала мыиспользовали второй способ. Оноказалсядовольно удобным, нос его помощьюне получилосьотправить отзывкнопкавыставления рейтингав этом случаебыланеактивна.Об этом также сказано в документации. По этой причинемы решили обратить внимание на первый способ.

Отправили сборку вPlayMarketи стали ждать, пока новая версия будет доступна для скачивания. И вот, спустя несколько часов, мы увидели долгожданный диалог:

Note:если в процессе тестирования вы обнаружите, что выполнили необходимые условия, а диалог не появился, дело может быть вQuotas. ВIn-App-Reviewимеютсянекоторые ограниченияна частоту показа диалога и, возможно, ещёне прошло достаточно времени с момента последнего его появления.

Вперед к экспериментам!

Теперь, когда стало ясно, как работаетIn-App-ReviewAPI, и учтены все нюансы, возникают логичные вопросы: что, если пользователь будет раздражен появившимся диалогом и решит поставить неудовлетворительную оценку? Или он ещёне успел достаточно времени провести в приложении, чтобы его оценить?

В обоих случаях,вероятнее всего,пользователь решит поставить не более одной звезды.

Вспомним главную задачу, которую мы перед собой ставили: увеличить количествоположительныхоценок приложения.

Известно, что в подобных ситуациях многие разработчики идут на хитрость:процессвыставления оценки пользователем предваряется собственным диалогом с вопросом, нравится ли ему приложение. Если ответ положительный, юзердопускается к оцениванию продукта.

ДокументацияIn-App-Reviewчеткоговорит о том, что не стоит задавать пользователю вопросов, прямокасающихся его мнения о приложении.

Мы решили провести ряд своих экспериментовв поискахответа на вопрос: Стоит ли спрашивать мнение пользователя перед отображением диалога оценки приложения?.

Стартовая площадка

Перед тем, как мы запустили эксперименты, процесс сбора оценок был таким:

1. Если пользователь провёлв приложении 14 дней или больше, мы показываем емусобственныйpop-upКошелька.

2. Если в нашем диалогепользователь поставил оценку 4 или 5, отправляем его вPlayMarket.

В последние месяцы это давало следующие результаты:

Среднее количество оценок в месяц: 8 тыс.;

Среднее количество отзывов в месяц: 2.1 тыс.;

Средняя оценка: 4,54.

Для удобства дальше этот вариант будем называтьcontrol.

Эксперимент #1: с предварительным диалогом

В первом эксперименте мы решили поступить, как все, и злостно нарушили гайдлайныGoogle оставили собственный диалог, в котором предлагали пользователю поставить оценку,и,если он выбрал 4 или 5 звезд, мы запускали процесс оценки с помощьюIn-App-Review.

Назовем этот вариантin-app-review.

Мы выкатили версию приложения с этим методом оценки на 2 месяца, и вот что получилось:

• Среднее количество оценок в месяц увеличилось на 60% с8000 до 12800;

• Средняя оценка увеличилась с 4,54 до 4,67;

• Среднее количество отзывовнемного снизилось было 2100,астало 2000.

Процент пользователей,поставивших5 звезд, увеличился с 80% до 84,9%.

Общее распределение выглядит так:

Этот вариант эксперимента положительно сказался практически на всех метриках. Слегка снизилось количество отзывов, но при этом заметно выросло количество оценок и общий рейтинг приложения.

Вывод: от вариантаcontrolотказываемся в любом случае и проводим следующий эксперимент.

Эксперимент #2: без предварительного диалога

После проведения первого эксперимента мы набрались смелости, чтобы отказаться отфильтра плохих отзывовпоказа собственного диалога, и сразу запускатьIn-App-Review, как того требуют гайдлайны.

Этот вариант назовемonly-in-app-review.

Все ожидали, что количество оценок увеличится, но общий рейтинг значительно снизится. Тем не менее, мы решили рискнуть, ивот что получилось:

• Количество оценок в месяц выросло на 143% по сравнению с вариантомcontrolи на 52% по сравнению с первым экспериментом;

• Средняя оценка совсем немного упала по сравнению с первым экспериментом, но все равно осталась выше, чем в контрольном варианте;

• Количество отзывов практически не изменилось.

Процент пользователей,поставивших5 звезд, выше, чем в контрольном варианте, но немного ниже, чем в предыдущем эксперименте.

Вопреки нашим ожиданиямсредняя оценка в последнем эксперименте практически не упала по сравнению с предыдущим, а если сравнивать с контрольным вариантом, то она даже выросла.

Это было открытием для нас, так как казалось очевидным, что пользователи будутставить куда больше негативных оценок, если дать им возможность сделать это напрямую.

Вместо вывода

Перед проведением данных экспериментовмы были уверены,чтоGoogleнеобоснованно советует воздержаться от показа собственных диалогов пользователю с целью определить, нравится ли тому приложениено результаты показали, что имеет смысл прислушаться к их совету.Вместо того, чтобы хитрить, достаточно подобрать удачный момент для запроса оценкии никакиефильтрыне понадобятся.

Средняя оценка в эксперименте с предварительным показом диалога составила 4.67, без показа 4.63.Количество оценок в первом случаесоставило почти 13 тыс., во втором20 тыс. В итоге в качестве рабочего варианта мы решили выбрать вариантonly-in-app-reviewпо трём основным причинам:

1. Средние оценки в двух вариантах эксперимента практически не отличаются;

2. Этот вариант полностью соответствует гайдлайнам, описанным в документации;

3. Количество оценок значительно увеличилось.

На данный момент мы также берем во внимание, что какое-то из будущих обновлений приложения может оказаться неудачным. Тогда из-за отсутствия предварительного диалога может посыпаться шквал негативных отзывов. Поэтому на такой случай мы оставили возможность заново включить первый вариант эксперимента.

Если что-то такое произойдет, мы обязательно дополним статью, чтобы вы знали, стоит ли сделать собственный диалог хотя бы для подстраховки.