Русский
Русский
English
Статистика
Реклама

Метрики продукта

Как стартапу получить ранний трэкшн (traction)

26.03.2021 22:10:30 | Автор: admin

Привет всем, кто не первый раз читает мои статьи! Для тех, кто здесь впервые, к приветствию добавлю, что все написанное ниже является результатом моего личного опыта и опыта нескольких десятков команд, который мне довелось подсмотреть, будучи ментором, наставником, бизнес-ангелом и, надеюсь, просто другом основателей.

Мне нравится мысль, что вы не должны мне верить. Мне также нравится идея о том, что все здесь написанное легко проверить, достаточно запустить свой стартап, найти своих первых пользователей, подтвердить ценность своего продукта, научиться продавать не только рассылая друзьям промокоды, но и не без гордости наблюдая первую тысячу, а затем и сотню тысяч пользователей в своем дашборде, привлечь инвестора и выйти на международный рынок.

Прежде чем перейдем к вопросу как получить трэкшн?, давайте разберемся, что это за трекшн такой, и почему он так важен, как для самого стартапа, так и для инвестора, как его измерить, и показать. Также остановимся на том, как получить трэкшн дешево и увеличить благодаря этому оценку стартапа. Погнали!

Что такое Трэкшн (Traction)?

Traction дословно можно перевести как тяга или сила сцепления. На нашем же стартаперском слэнге трекшн это некая мера того, как успешно команда стартапа делает из идеи бизнес. Развивая тему автомобильных аналогий, раз уж мы про сцепление заговорили, трекшн это сцепление стартапа с его road map. То есть с дорожной картой или планом развития стартапа.

Навал Равикант (AngelList) определяет трекшн как количественное доказательство наличия рыночного спроса на ваш продукт. Если вы являетесь основателем стартапа, который еще не имеет продаж, не спешите расстраиваться, для этого у стартаперов будет много более достойных поводов. Один мой знакомый фаундер назвал трэкшн доказательством того, что стартап не оторван от своих потребителей. Конечно, факт продажи вашего продукта является лучшим подтверждением наличия спроса, но даже в ситуации, когда продукт еще не готов, и даже более того, есть только идея будущего продукта, трэкшн, а вместе с ним и доказательства ценности идеи, можно и нужно получать.

Почему трэкшн важен для стартапа?

Тут следует сделать акцент на слове нужно, ведь если ценность идеи не подтверждается, стоит ли тратить время, деньги и силы на разработку продукта, не нужного рынку? Тут имеет место простой алгоритм условия, если ценность идеи подтверждается пилим продукт, если не подтверждается - закрываем проект, либо меняем его и снова уходим на проверку ценности идеи, чтобы получить трэкшн.

Пример:

Чтобы уйти от абстрактных рассуждений, привожу пример своего собственного проекта. Мы продаем карты для охотников navigator.huntmap.ru. Прежде чем мы стали самым крупным поставщиком охотничьих карт для смартфонов в России мы были буквально никем. То есть не было ничего, ни мобильного приложения, ни сайта, ни десятков тысяч подписчиков. Но идея создать мобильное приложение-навигатор для охотников уже была. Нетрудно догадаться, что разработка сайта, мобильного приложения, сбор данных об охотугодьях всей страны процесс небыстрый и недешевый. Так как проверить, есть ли спрос на наш сервис, если самого сервиса нет?

Не то, чтобы никто не делал охотничьи карты для навигатора был Garmin, а карты для него охотники делали сами на коленке по информации, которую доставали по дружбе у брата жены, который знаком с бывшим охотинспектором. Факт, что даже такое барахло востребовано рынком, нас вдохновлял, а сами мы, будучи охотниками, представляли пользу нашей идеи. Но можно ли это считать трэкшеном? Нет, поскольку вся эта информация никак не подтверждала наши собственные способности делать востребованный рынком продукт.

Сначала для самого себя мой кофаундер создал карту одного региона России, затем был напечатан небольшой тираж в ближайшей типографии, который был полностью распродан за первый же сезон охоты. Это трекшн? Да! Пока ваш продукт не готов, такое выраженное в реальных продажах доказательство ценности вашей идеи является очень важным. И это не просто доказательство востребованности рынком, но свидетельство того, что вы на верном пути. Теперь есть смысл вкладываться в разработку, а не сливать бюджет в реализацию иллюзий основателя.

Есть и неочевидные плюсы такого подхода. Для команды стартапа важно понимание, что ее работа не пропадет впустую, результаты будут не просто востребованы, но и послужат развитию компании. Это становится особенно важным на первых этапах работы, когда всю команду составляют сами основатели с первыми сотрудниками, которые подписали соглашение об опционах.

Итак, стартап, который получил трекшн, теперь имеет четкое направление работы и мотивированную команду. Более того, этот самый трекшн можно гордо продемонстрировать инвестору, если вы его привлекаете. В борьбе за инвестиции это позволит оставить позади всех конкурентов, трекшена не имеющих.

Как измерить трэкшн?

Казалось бы, нет ничего более наглядного, как график роста выручки. И спорить с этим глупо. Но есть огромное число бизнесов, которые не имея выручки, все же демонстрирует завидный трэкшн. Дело в том, что трекшн измеряется не только в деньгах. В качестве мерила трекшена можно выбрать и другие метрики, которые, конечно же должны быть ключевыми для стартапа. Эти метрики могут меняться на разных этапах жизни компании. Поскольку без примера тут так же не обойтись, предлагают обратиться к Марку нашему Цукербергу, который долгие годы не монетизировал свое детище, имея при этом отличный трэкшн в виде метрик роста и темпов роста аудитории. Сегодня для всех очевидно, что в реальности речь идет о потенциальных рекламных охватах для рекламодателей, именно они и есть клиенты соцсети.

Дополнительно замечу, что оценка трекшена должна стать регулярной активностью для основателя по тем же самым причинам: понимать верность выбранного направления движения, мотивировать команду, документировать успехи в формате трекшена для инвестора и собственного ретроспективного анализа метрик.

Трэкшн штука прикладная, и выбор метрики будет зависеть от цели, которую вы ставите себе: размер аудитории, выручка, удержание, стоимость привлечения. Для отдельных гипотез дополнительно могут выбираться отдельные ключевые метрики на эксперимент по проверке гипотезы. Обычно речь идет о метриках, которые напрямую способны повлиять на выручку или сам размер выручки. Например:

  • ARPPU (англ. Average Revenue Per Paying User) средняя выручка на одного платящего пользователя

  • DAU (англ. Daily Active Users) ежедневные активные пользователи

  • CAC (англ. Customer Acquisition Cost) - стоимость привлечения нового клиента, отражает итоговую сумму всех маркетинговых усилий, которые потребовались, чтобы привлечь одного клиента

  • LTV (англ. LifeTime Value) показывает сколько денег приносит клиент за всё время присутствия в вашем сервисе: от первой покупки до последней.

и другие важные показатели, приведенные метрики лишь пример, вы можете выбрать для себя другие, потому что приведенных явно недостаточно.

Вместе с показателями ключевых метрик фиксируйте и гипотезы, над которыми вы работали, отслеживая метрики. Метрики без данных об экспериментах, над которыми вы работали и которые повлияли на эти самые метрики, не дадут вам никакой информации.

Пример:

  1. Мы хотим увеличить конверсию в покупку

  2. Для этого мы запускаем новый лендинг с новым дизайном и огромной кнопкой Купить, это должно увеличить увеличить конверсию в покупку на 5%.

  3. Для оценки результата мы отслеживаем все ключевые метрики, такие как продажи, ну а непосредственно для этого спринта дополнительной ключевой метрикой станет число переходов при нажатии на эту кнопку Купить или собственно Conversion rate.

  4. Технически для этого мы пометим ссылку в кнопке UTM.

  5. Через неделю, оценим результаты и поймем, как изменилась конверсия с новым дизайном, решим оставлять его или откатить назад, сформируем новые гипотезы и уйдем на новый спринт с метриками, чтобы снова ошибаться и уточнять курс или продвинуться еще немного вперед.

Через какое-то время у вас появится архив, гипотез, действий для их подтверждения и результатов в виде показателей ключевых метрик. Это и есть ваш трэкшн. Он будет ровно настолько хорош, насколько хорошо меняется ваша ключевая метрика. В идеале, это кривая продаж или роста аудитории, которая экспоненциально взмывает вверх. Этому графику сопутствует журнал ваших экспериментов, как показано выше.

Это еще одна положительная сторона работы с фиксацией трекшена всегда можно вернуться к своему архиву и вспомнить, какие гипотезы оказались провальными, а какие подтвержденными и к ним можно вернуться уже с новыми возможностями бюджета. Возможно, у вас появится продакт-менеджер, ему также будет полезно ознакомиться с граблями, на которые уже наступала команда до его прихода в стартап.

Почему трэкшн важен для инвестора?

Очевидно, что инвестор хочет видеть, как развивается стартап, который он рассматривает для инвестиций. Также очевидно, что его порадует взлет кривой продаж. Все показывают эти слайды в своих деках. Но какие еще метрики надо демонстрировать инвестору?

Если перед вами опытный инвестор, а вам нужен именно такой, то он все равно поинтересуется вашими CAC и LTV. Смело размещайте их в своей презентации, будьте готовы ответить, из чего состоят расходы и как долго в вашем сервисе присутствует пользователь, сколько он за все это время вам заплатит. Эти метрики позволят инвестору сделать вывод не только об экономике проекта, но и о том, что основатели ведут учёт и строят на основе его гипотезы, а не галлюцинируют в надежде на удачу. Для некоторых сервисов будут важны показатели удержания аудитории или ее оттока, для кого-то критичным будет показать размер аудитории. Обязательно не просто показать выручку за период, например, за 1 год, но и демонстрировать изменения метрики в динамике, поскольку трэкшн в моменте значение хоть и имеет, но никак не подтверждает, что команда систематически принимает верные решения на основе показателей своих метрик.

Не стоит смущаться, если вы делали пивот и в каком-то месяце будет провал на графике. Важно, что вы можете объяснить эти изменения в первую очередь самим себе, а затем инвестору. Умение систематически работать с гипотезами, в том числе и с ошибочными, это тоже трэкшн, который и отражен в виде провала на графике. И если в целом динамика изменения метрики положительная, останется только один вопрос. Каков ваш трэкшн за последний месяц или за год? Проще говоря, как выросли значения вашей ключевой метрики за период.

Сразу напрашивается следующий вопрос, какие значения изменения метрик будут привлекательными для инвестора? Коль скоро мы погрузились в контекст венчурного финансирования и стартапов, важно заметить, что рост должен быть кратным. Здесь проще ответить, каким он не должен быть. Венчурный инвестор не станет серьезно рассматривать проекты, которые растут менее чем на 100% в год. Если для традиционного бизнеса считается нормой рост на 5-20% в год, то здесь это не так. Дело в том, что инвестор должен покрыть свои потери от неудачных инвестиций, которых среди стартапов 9 из 10. Опять же призываю не верить на слово мне, тут ссылаюсь на матерого венчурного капиталиста Игоря Шойфота и его блог.

Тот самый случай, когда можно экономить.

Речь о том, что как раз ранний трэкшн заполучить можно почти бесплатно. Но, во-первых, давайте разберемся, почему именно ранний трэкшн, чем он особенный и зачем его вообще надо получать.

В предыдущей статье про инвесторов, которым лучше отказать, я писал, что для стартапов на ранних стадиях есть смысл не спешить с привлечением инвестиций, поскольку именно наличие трекшена может сильно изменить оценку компании. Инвестор предельно циничный человек, ведь речь идет о его собственных деньгах. А умение стартапа извлекать деньги уже на стадии идеи или MVP говорит о том, что команда не просто сильнее тех, кто этого не умеет, но и способна снизить риск всего портфеля инвестора. Так, один и тот же проект с разницей полгода и наличием подтвержденного спроса на свой продукт, может стоит до десяти раз дороже. Если хотите пример, то отлично подойдет тот же упомянутый уже Facebook, который получил в 2006 году от Microsoft 0,9 миллиарда долларов, которые уже в 2007 превратились в 15 миллиардов. Это значит, что передавая инвестору условные 5-10%, вы получите в 10 раз больше средств на развитие вашего продукта. Более того, как раз факт наличия трекшена может стать триггером для решения первого инвестора войти в проект и таким образом дать первую оценку компании.

Напрашивается закономерный вопрос: но ведь на получение трекшена также нужны средства, где из взять? Ответ тот же что и во всех других статьях о первых инвестициях в стартапы, это FFF, то есть друзья, семья и дураки. Подойдут и собственные средства основателей, их потребуется немного, особенно по сравнению с тем, сколько вы сможете привлечь уже на посевной стадии при условии, что у вас уже есть первые продажи и они растут.

Сегодня не обязательно быть разработчиком или даже иметь его в команде, огромное число инструментов no code даёт возможность создать прототипы решений в виде сайтов или мобильных приложений. Даже их не обязательно делать, часто достаточно запустить продающий лендинг с кнопкой Предзаказ. Нужно купить немного целевого трафика на такой лендинг и убедиться, что конверсия в нажатие кнопки не менее хотя бы 3%. Конечно, важно как поработал дизайнер и как сформулированы ценностные предложения, но суть в том, что вы можете убедиться в востребованности вашего продукта, который вы пока хоть и не создали, но уже смогли продать. Не поленитесь, подключите к вашему лендингу на Тильде платежный сервис от Яндекса, это стоит ровно ничего. Ни заверения вашей подружки, ни похвала мамочки не подтвердят реальную ценность вашего продукта так, как это сделает поступление средств на счёт.

Неважно, продавали вы бумажные карты, как мы когда-то, или собирали предзаказы на лендинге, делали прямые продажи или слали холодные письма, если на счете появились деньги и конверсия позволяет надеяться на рентабельность, значит у вас есть трэкшн. Поздравляю, ваша компания только что выросла в цене в десять раз по сравнению с недавним прошлым, когда его не было. Очень обобщенно, при размерах рынка в несколько миллиардов долларов и других приемлемых показателях, ваша компания теперь может быть оценена в сумму с шестью нулями в долларах.

Я знаю команды, которые тратили на получение первых продаж и проверку востребованности продукта рынком только своё время и экспертизу, даже трафик они получали через соцсети и грамотный SEO. Я уверен, что и вы можете сберечь бюджет разработки, предварительно дёшево тестируя гипотезы востребованности рынком вашего продукта.

Трэкшн всему голова

Итак, давайте вместо вывода перечислим, чем грозит трэкшн стартапам ранних стадий, помимо того, что позволяет оценить умение команды организовать разупорядоченность в бизнес:

  • позволяет понять в нужную ли сторону бежит стартап

  • помогает мотивировать команду

  • позволяет отслеживать прогресс

  • требуется для привлечения инвестора

  • кратно увеличивает оценку стартапа

  • делает бизнес системным и управляемым

Вместо заключения

Теперь, когда вы вооружены парой способов преодолеть проблемы с первыми продажами и подтверждением рынка, можно не тратить время на борьбу с собственной нерешительностью мне отлично известно, что продавать хочется сразу идеальный товар, но, оглядитесь вокруг! Довольны ли вы целиком и полностью Microsoft Windows или своим MacBook? А ведь в разработку тормозной Винды и макбуков с вылетающими клавишами вложены миллиарды долларов! Не стесняйтесь продавать свою идею или MVP, сделанный на коленке! Если ваша идея настолько хороша, что способна зажечь вас, то найдутся и пользователи готовые за нее заплатить. Подтвердите эту гипотезу и у вас появится трэкшн, а с ним и возможности для привлечения инвестиций, уверенность в себе и мотивация для команды. Ну а я и другие волонтеры проекта StartupKotiki будем рады помочь вам!

Это уже 7-я статья в цикле материалов для стартапов ранних стадий, продолжение следует. Подписывайтесь, задавайте свои вопросы, я отвечу на все, обещаю.

Подробнее..

Какие бывают метрики. Дизайнер и метрики, 2 часть

27.08.2020 08:21:11 | Автор: admin
image

Вы читаете вторую статью из серии Дизайнер и метрики. В первой статье я пытался ответить на вопрос, нужны ли дизайнеру метрики. Ее можно найти тут.


В новой статье я хочу рассмотреть, какие бывают метрики, как можно их использовать и на какие метрики опираться при оценке своей работы.


Retention метрика, на которую я смотрю чаще всего


Предлагаю не вдаваться в теорию, а сразу взять конкретную метрику и посмотреть, что это такое и как она работает.


Начнем с retention метрика, которая показывает возвращаемость пользователей. То есть, если сегодня наше приложение скачало 100 новых пользователей, то retention ответит на вопрос, сколько из них к нам вернется завтра, через месяц и так далее.


Допустим, что retention второго дня равен 60% это значит, что на второй день приложение запустят 60 пользователей из 100 скачавших.


Эту метрику можно посчитать на любой день жизни пользователя. Допустим, retention 7 дня равен 30% это означает, что на 7 день с момента скачивания в нашем приложении останется 30 человек из 100 скачавших.


image

Тут важно отметить, что в один и тот же день в сервис заходят как пользователи, которые только сегодня скачали приложение, так и те, кто пользуется им уже давно. А значит, у каждого пользователя свой второй день пользования приложением. Допустим, у меня это было две недели назад, а у кого-то сегодня.


В итоге мы берем каждого пользователя, смотрим на его второй день, и считаем, зашел он в сервис или нет. Затем смотрим, какой процент все-таки зашел это и будет показатель retention второго дня.


Допустим, наше приложение скачали 1000 раз за неделю. Во второй день из этой тысячи зашли 600 пользователей, а в седьмой 300. Используя эти данные, мы можем посчитать retention второго дня 600/1000 = 60%, и retention седьмого дня 300/1000 = 30%


Чем полезна эта метрика?


Она быстро даёт понять, удалось ли нам сделать продукт, который был полезен пользователю, или он пощёлкал, посмотрел и удалил.


Если retention какого-то дня составляет 0%, значит, из всех, кто когда-то скачивал приложение, никто в нем не остался, и приложение никому не нужно. Может, стоит его закрыть?


Хочу сразу отметить, что в некоторых приложениях retention нужно трактовать иначе допустим, дейтинг. Пользователь нашел пару больше условный Тиндер ему не нужен.


Но чаще всего цель разработки приложения найти пользователей, которые будут пользоваться им в течение длительного времени. То есть, с какого-то дня retention должен перестать убывать retention 90 дня должен быть равен retention 180 дня и так далее. В таком случае аналитики говорят, что retention вышел на плато.


Если у продукта большая и постоянно растущая аудитория, это свидетель того, что продукт вышел на плато retention как Facebook, Telegram, Google Maps и так далее.


Метрики роста и метрики продукта


Отойдем на шаг назад и посмотрим, какие вообще бывают метрики. Выделяют 2 типа: метрики роста и метрики продукта


Допустим, у нас есть некое мобильное приложение. В него попадают пользователи, как-то с ним взаимодействуют, и по итогам этого взаимодействия приложение зарабатывает деньги.


То, как это приложение перерабатывает пользователей метрики продукта. Допустим, сколько денег компания получает с каждого нового пользователя.


А метрика роста это то, что получается после этой переработки, например выручка компании за год.


Как думаете, retention это метрика роста или метрика продукта?


Определить это поможет очень простое правило: увеличьте в разы количество пользователей, скачавших приложение. Если показатели метрики при этом не изменятся, значит, это метрика продукта.


Допустим, мысленно сравняйте количество пользователей своего приложения с количеством пользователей Facebook. Retention приложения при этом останется неизменным. Как был 30% на седьмой день, так и останется. А значит, Retention это метрика продукта.


А что произойдет с выручкой? Выручка при увеличении аудитории заметно взлетит. Если один пользователь приносил нам 10, то 100 пользователей принесут нам 1 000 , а 1 000 000 пользователей 10 000 000 . Получается, что выручка (или revenue) это метрика роста.


Итак, метрики роста отвечают на вопросы:


Растет или падает дневная аудитория нашего приложения?


Сколько зарабатывает наш продукт?


А метрика продукта:


Сколько денег нам приносит один средний пользователь?


Какая часть пользователей остается с нами спустя месяц после установки приложения?


Зачем разбираться в метриках роста и продукта


Все дизайнерские решения каким-то образом влияют на метрики. Поэтому если в них разбираться, можно лучше понять удалось ли вам улучшить продукт или ваш новый дизайн сделал все только хуже?


Конечно, проще всего было бы ответить на эти вопросы, посмотрев на метрики роста. Мол, если мы стали больше зарабатывать значит, все не зря, а если начали зарабатывать меньше, то что-то идет не так.


Но в этом подходе кроется ошибка, которая может стоить продукта.


Чтобы лучше разобраться, почему при оценке дизайна или редизайна не стоит опираться на метрики роста, давайте разберем следующий кейс:


Допустим, в команду разработки пришел плохой менеджер и выбрал для развития фичу Х. Под новую фичу компания нанимает команду маркетинга, которая начинает активно привлекать трафик.


Команда выкатывает эту фичу и она оказывается неудачной. Метрики продукта то есть, retention, возвращаемость пользователей летят вниз. Продукт начинает хуже удерживать пользователей, доход на нового пользователя уменьшается.


Но из-за того, что в продукт было привлечено намного больше трафика, новые пользователи маскируют ухудшение в метриках продукта и компания начинает зарабатывать больше. Потому что на метрики роста влияет 2 составляющих сам продукт и его продвижение.


Получается, что по метрикам продукта все очень плохо, но по метрикам роста просто отлично. И руководство, посмотрев на метрики роста, радуется и повышает плохого менеджера, который только испортил продукт.


Такой случай не редкость в компаниях.


Изучая метрики, вы сможете помочь своей компании этого избежать и более убедительно аргументировать свои выводы и дизайнерские решения.


Подытожим


  1. Одна из главных метрик продукта это retention, то есть, возвращаемость пользователей. Найти его можно, разделив количество дневных пользователей на N-ный день на количество скачавших приложение.
  2. Мы научились отличать метрики роста от метрик продукта. Достаточно мысленно увеличить количество пользователей приложения и посмотреть, увеличился вслед за этим показатель метрики или нет. Например, выручка revenue увеличится; значит, это метрика роста. А retention нет; значит, это метрика продукта.
  3. Поняли, что для оценки продукта и своей деятельности нужно использовать именно метрики продукта.

Что дальше


Это была 2 статья из серии Дизайнер и метрики. В следующей статье я планирую рассказать как сравнивать изменение метрик что было до релиза и что стало после, как понять улучшили мы продукт или нет. Подписывайтесь, чтобы не пропустить.

Подробнее..

Как продуктовому дизайнеру оценить свою работу

21.09.2020 10:09:24 | Автор: admin

image
Photo by Brooke Cagle on Unsplash


Вы читаете третью статью из серии Дизайнер и метрики. В первой мы поразмышляли, нужны ли продуктовому дизайнеру метрики, а во второй посмотрели, какие вообще бывают метрики. Если вы ещё не читали эти статьи, то советую начать с них.


В этой статье речь пойдет о том, как ответить на вопрос, улучшили мы продукт или нет.


Дни после релиза


После раскатки нового функционала каждый дизайнер спрашивает себя: что изменилось? Удалось ли нам улучшить продукт?


Чтобы ответить на эти вопросы, нужно посмотреть, как изменились метрики после релиза функционала. Ведь зачастую результат работы дизайнера это разница между метриками до релиза нового функционала и после него.


На первый взгляд кажется, что сравнить эти метрики очень просто: посмотрел на цифры до релиза и после, сравнил одно с другим, и если стало лучше значит, все было не зря, а если хуже, то все надо переделывать.


Но такой подход часто ведет к ошибкам поэтому прежде чем прыгать к выводам, нужно обратиться к математике и немного посчитать.


Как сравнить метрики до и после


Реальное значение метрики против замеренной


У каждой метрики есть её реальное значение назовем его R (реальное), а есть значение, которое мы получили через замеры Z (замеренное).


И первое, с чем нам надо справиться это понять, что R Z.


Разберемся на примере


Допустим, перед нами стоит вопрос, сколько в России людей, которые работают в силовых структурах. Вариант загуглить и узнать не наш выбор в этой статье.


Допустим, теоретически мы могли бы опросить каждого человека в России, силовик он или нет, и получить реальное значение, то есть R.


Но поскольку практически это невозможно, мы опрашиваем столько людей, сколько смогли найти допустим, 300 человек (выборку формируем по науке), и потом просто экстраполируем эти данные на всю Россию.


Так мы получаем Z, то есть замеренную метрику. Думаю, теперь стало понятно, что почти всегда Z R.


Как из замеренной метрики получить реальную?


На этот вопрос как раз и отвечает математика. С помощью математической формулы мы можем получить промежуток значений, в котором находится R.


Вернемся к примеру с силовиками. Предположим, что после опроса 300 человек, 5 из них ответили, что являются сотрудниками силовых структур, то есть приблизительно 1,7%.


Этих данных достаточно, чтобы получить промежуток значений в котором находится R. Для этого нам необходимо:


  1. Замеренное значение метрики в случаем с силовиками это 1.7%
  2. Количество выборки, на которой сделан замер 300 человек
  3. Количество потенциальной выборки (не обязательно) в нашем случае наслеление России 146 млн человек.
  4. Выбрать точность, с которой мы хотим получить результат. Обычно используют 90, 95 и 99%

Эти данные нужно ввести в специальный калькулятор для расчета доверительного интервала и нажать вычислить.


На выходе мы получим промежуток, в котором содержится R с вероятность 90, 95 и 99% (в зависимости от того, какой процент мы выбрали при расчёте).


Если вернуться к примеру с силовиками, то после этих расчётов можно сказать, что R находится в промежутке (или доверительном интервале) от 0% до 3,59% от всего населения России.


А значит, если умножить этот процент на население России, то получим интервал от 0 человек до 5 268 274 человек. (В этом интервале действительно содержится верный ответ в реальности это 2,6 миллиона).


Чтобы получить более точный промежуток, нам нужно опросить больше людей.


А как же все-таки сравнить метрики до и после


Теперь нам уже достаточно знаний, чтобы ответить на этот вопрос. Осталось дело за малым: надо просто посчитать доверительный интервал для метрики до и для метрики после и посмотреть, есть ли между ними пересечение.


Если пересечения нет, то мы получили статистически значимые результаты и можно утверждать, что мы что-то изменили в продукте.


А если пересечение есть, то значит данных недостаточно, чтобы утверждать, что что-то изменилось в продукте. А полученную разницу в данных надо воспринимать как погрешность измерения.


Разберемся на примере маркетинговой компании


Допустим, мы подготовили 2 креатива, и их посмотрели по 5 000 пользователей. Первый показал значение CTR 2% (это процент нажавших на креатив и перешедших на лендинг), а другой 3%. Можно ли сказать, что второй лучше первого?


Чтобы ответить на этот вопрос, нам надо собрать все данные для измерения доверительного интервала:


По первому банеру:


  1. Значение метрики 2%
  2. Сколько людей увидело этот банер 5 000
  3. Опускаем потенциальную выборку
  4. Выбираем точность 95%

Получаем, что R по первому креативу с 95% вероятностью находится между [ 1,61% 2,39% ]


Тоже самое проделываем по второму банеру (его посмотрело тоже 5 000 человек) и получаем интервал [ 2,53% 3,47% ]


image


Видим, что интервалы не пересекаются друг с другом, а значит, второй банер успешнее первого.


Подытожим


  1. Чтобы оценить работу дизайнера, недостаточно просто посмотреть метрики до и после, нужно сравнить их доверительные интервалы.
  2. Посчитать доверительный интервал можно с помощью специального калькулятора.
  3. Если доверительные интервалы до и после не пересекаются значит, работа дизайнера точно дала положительный результат.

Что дальше


Это была 3 и последняя статья из серии Дизайнер и метрики.


В следующей статье я планирую рассказать, почему у пользователя нельзя спрашивать, что ему нравится, а что нет. Подписывайтесь, чтобы не пропустить!

Подробнее..

Перевод Кратко о продуктовых метриках

18.02.2021 10:20:32 | Автор: admin

Продуктовые команды часто применяют такие термины, как инструментарий и телеметрия, и не только потому, что это звучит солидно. Представьте, что вы летите на самолете ночью. Как пилот узнает, в каком направлении движется самолет, достаточно ли топлива, нет ли горы прямо по курсу? С помощью телеметрии.

А теперь представьте, что вы отвечаете за рост вовлеченности на Ютубе. У вас миллиарды пользователей, сложная экосистема. Как узнать, повышается ли вовлеченность пользователей? Почему кто-то использует ваш продукт больше, а кто-то меньше? И что вообще такое эта вовлеченность?

Согласно представлению Эндрю Гроува, изложенному в книге Высокоэффективный менеджмент, без инструментария, телеметрии и индикаторов (далее будем называть всё это метриками) наш продукт представляет собой черный ящик, в котором есть вход (код, дизайн, оборудование, время) и выход (доход, пользователи продукта). Метрики помогают количественно оценить выход и прорезать окна в черном ящике, чтобы понять, почему мы получаем тот или иной выход. Метрики помогают:

  • Измерять выход (например, успешность продукта): количественно оценивать движение в направлении бизнес-цели.

  • Анализировать выход: получать ответ на вопрос, почему мы видим тот или иной выход.

  • Принимать решения: проводить эксперименты и решать, как должен развиваться продукт.

  • Реагировать и адаптироваться: метрики предупреждают о проблемах с работоспособностью продукта и о тенденциях, которые ставят под угрозу наши цели.

  • Концентрировать усилия: направлять работу команды в одном направлении.

Типы метрик для продуктовых команд

Использование метрик определяется отраслью, компанией и конкретной задачей. Я не буду пытаться охватить всё, а лишь сосредоточусь на основных понятиях, применимых к наборам продуктовых метрик в большинстве случаев.

Успех, эмпатия и работоспособность

  • Успех (измерение выхода). В правильном ли направлении движется продукт? В чем причины?

  • Эмпатия. Можем ли мы определить смысл метрик? Знаем ли мы, что пользователи думают о продукте?

  • Работоспособность. Контролируем ли мы состояние продукта? У какого процента пользователей он работает надежно?

Истинный север, указатели и контрольные метрики

Истинный север: должен остаться только один.Истинный север: должен остаться только один.

Истинный север единственная метрика, используемая для отслеживания успеха продукта (или выхода в аналогии с черным ящиком). Она должна быть только одна, но ее можно дополнить указателями и контрольными метриками. Метрика истинный север обычно представляет собой воронку поздних этапов, т. е. кульминацию, включающую в себя множество различных шагов, поэтому повлиять на нее сложно. Вот пару примеров из наверняка известных вам сервисов:

  • Spotify общее время прослушивания.

  • Facebook количество активных пользователей в месяц (MAU).

  • Slack количество активных пользователей в день (DAU).

Указатели это метрики, которые не определяют успех продукта, однако (вспомним аналогию с черным ящиком) помогают понять, почему истинный север или иные важные части продукта, которые нужно отслеживать, движутся в определенном направлении. Например, если истинный север для Spotify общее время прослушивания, то указателями могут быть (1) количество уникальных пользователей, (2) количество уникальных композиций, прослушанных одним пользователем, и (3) средняя продолжительность композиции.

Контрольные метрики используются при проведении A/B-экспериментов: они позволяют следить за тем, чтобы вносимые в одну часть продукта изменения не повлияли отрицательно на другую часть. Например, можно провести эксперимент по увеличению количества купленных подписок, предложив значительную скидку за первый месяц. Контрольной метрикой в этом случае может быть удержание пользователей на протяжении двух месяцев этот показатель поможет выяснить, достаточно ли удовлетворены пользователи, чтобы продолжать пользоваться вашим продуктом. Если значение контрольной метрики оказывается удовлетворительным, можно продолжать инвестировать в привлечение пользователей.

Факты и смысл

  • Количественные метрики характеризуются высокими объемами и низкой связью с контекстом; они дают фактические данные и помогают понять поведение пользователей: это количество активных пользователей в день (DAU), отток, вовлеченность, объем продаж ит.д.

  • Качественные метрики это низкие объемы и высокая связь с контекстом; они придают смысл количественным данным и ставят их в определенный контекст: это могут быть беседы с клиентами, записи экрана, результаты опроса фокус-групп.

При достаточно большом размере выборки качественные данные могут становиться количественными. Например, из большого количества записей пользовательских взаимодействий можно получить тепловую карту, а из масштабного опроса тенденции по ключевым словам. При этом, однако, есть риск потерять смысл обратной связи.

Помните: какой бы набор метрик вы ни выбрали, у вас должна быть возможность получить факты и выяснить их смысл.

Практические советы по работе с метриками

Определение, внедрение и использование метрик несовершенный процесс, который приходится регулярно повторять. Однако есть три принципа (может, и больше мне просто нравится это число), которые я постоянно использую.

Слепо используемые в качестве целей метрики утрачивают смысл

Изменение метрики не должно быть целью. Цель это достижение бизнес-результата или определенного выхода для продукта, а метрика это способ количественно оценить, достигнута ли обозначенная цель. Представьте, что вы запускаете новый интерфейс входа в систему, чтобы привлечь больше пользователей. Вам нужно определить метрику истинного севера, которая покажет, лучше или хуже новый интерфейс. У вас два варианта:

  1. Коэффициент показ сеанс: процент вошедших в систему пользователей относительно количества открывших экран входа.

  2. Коэффициент попытка входа сеанс: процент вошедших в систему пользователей относительно количества воспользовавшихся интерфейсом экрана входа.

Как и на любую общедоступную веб-страницу, сюда могут заходить боты. Количество просмотров страницы ботами (показы) большое, при этом их трудно отделить от пользователей, но боты редко взаимодействуют с интерфейсом (попытки входа) и никогда не выполняют вход. Учитывая это, можно предположить, что более точной метрикой успеха будет показатель попытка входа сеанс, верно?

Давайте разберемся. Представьте, что ваши пользователи делятся на две категории взрослые и пожилые:

  • взрослые технически грамотны, показатель попытка входа сеанс для них составляет 71%,

  • пожилые ориентируются хуже, поэтому в их случае это будет 50%.

Вы запускаете эксперимент, который увеличивает количество попыток входа в систему пожилыми. Их доля увеличится, но только 50% таких попыток будут успешными, поэтому используемая в качестве истинного севера метрика попытка входа сеанс снизится с 65% до 63%:

Метрика истинного севера снизилась, а значит, внедрять новый интерфейс не стоит, правильно? Неправильно. Ваша цель не увеличение количества успешных попыток входа, а привлечение большего числа людей в продукт, и в эксперименте этот показатель поднялся на 12%:

Значит ли это, что метрика показ сеанс лучше? Необязательно: на нее по-прежнему влияет трафик от ботов. Редко можно найти идеальную метрику, и структурный сдвиг, проиллюстрированный выше, один из примеров сложностей, с которыми можно столкнуться. Здесь важно понимать, где метрики могут вводить в заблуждение, и устанавливать соответствующие контрольные показатели. Повторюсь: цель не изменение метрики, а достижение бизнес-результата или определенного выхода.

Метрики должны быть понятными

Метрики не только оценивают прогресс в достижении цели они помогают сплотить команду и позволяют сотрудникам действовать с большей автономностью. Для этого метрика должна быть понятна большой группе самых разных людей иначе это плохая метрика. Для высокотехнологичных команд (например, работающих над поиском) есть исключения, но, как правило, чем проще, тем лучше. Подумайте, сможете ли вы быстро объяснить суть метрики генеральному директору?

В основе самых важных решений почти никогда не бывает идеальных данных

Данные и метрики не существуют сами по себе они встроены в более широкую экосистему принятия решений. В сфере разработки продуктов у метрик есть два родственника: чутье и эмпатия. Обычно про них вспоминают реже, но от этого они не становятся менее важными. Иногда их называют продуктовой интуицией это интуитивное ощущение относительно того, как должен выглядеть идеальный продукт.

  • Чутье сложно выразить количественно, но это важный элемент в принятии решений: оно представляет собой кульминацию предыдущих решений и петель обратной связи. И, к счастью, чутье со временем обостряется.

  • Эмпатия представляет собой интуитивное понимание пользователя или клиента их проблем, ценностей и мировосприятия.

  • Каждое наше решение это результат взаимодействия метрик, чутья и эмпатии. Если хороших метрик нет, приходится полагаться на эмпатию и наоборот.

Продуктовые команды часто хотят получить как можно более точные данные, и я понимаю это желание: они боятся принять неправильное решение. Но бездействие в ожидании данных тоже стоит денег, поэтому, принимая сложные решения в отношении продукта, всегда помните о двух факторах:

  1. Обратимость. Насколько обратимо это решение? Превышает ли цена принятия неправильного решения издержки от ожидания точных данных?

  2. Эмпатия. Можно ли заменить нужные данные эмпатией? Без одного из этих ориентиров обойтись можно но без обоих обойтись нельзя.

Резюме. Десять важных вопросов

Инструкции по выбору метрик давать бесполезно, поскольку они в значительной степени определяются конкретными условиями, но я могу предложить несколько вопросов открытого типа, которые можно задавать при определении набора метрик для продукта:

  1. Какой цели вы пытаетесь достичь? Какие у вас миссия и видение?

  2. Как узнать, что цель достигнута?

  3. Как оценивать прогресс в достижении этой цели?

  4. Какие действия вам нужны от пользователей и как оценить, выполняются ли они?

  5. Как измерить совокупное поведение пользователей, определить контекст и выработать эмпатию?

  6. Метрики абсолютные или относительные? Цель привлечь определенное количество пользователей или определенный процент?

  7. Как понять, что продукт надежно работает у 99,9% пользователей?

  8. Можете ли вы объяснить выбранный истинный север максимум двумя предложениями?

  9. Какие контрольные метрики вы отслеживаете в экспериментах?

  10. Как пользователи относятся к продукту?

Здесь есть над чем подумать. Тема продуктовых метрик очень широкая, и в ней множество нюансов. Однако одно из самых эффективных действий, которые может предпринять продуктовая команда, вложить ресурсы и время в определение и построение правильных метрик.

Если статья оказалась полезной можете ознакомиться с остальными в блоге reeve.blog, которые появляются там регулярно (более-менее).


О переводчике

Перевод статьи выполнен в Alconost.

Alconost занимается локализацией игр, приложений и сайтов на 70 языков. Переводчики-носители языка, лингвистическое тестирование, облачная платформа с API, непрерывная локализация, менеджеры проектов 24/7, любые форматы строковых ресурсов.

Мы также делаем рекламные и обучающие видеоролики для сайтов, продающие, имиджевые, рекламные, обучающие, тизеры, эксплейнеры, трейлеры для Google Play и App Store.

Подробнее..

Метрики продуктивности команды

25.01.2021 02:06:31 | Автор: admin

В преддверии старта курса Product Manager IT-проектов, эксперт OTUS и автор телеграм-канала FreshProductGo - Сергей Колосков поделился с нами небольшим полезнвм материалом.


Понимание, насколько эффективно работает продуктовая команда, поможет правильно оценить развитие своего продукта и улучшить возможные результаты. А также описаны ключевые компетенции по аналитике, необходимые для эффективности продуктовой команды. Оценка продуктивности - гибкий процесс и может быть из следующих метрик:

Соотношение запланированного к выполненному

Даже если смена планов пошла на пользу вашему продукту, вы должны разобраться, насколько эффективно команда работала над предыдущими планами. Соотношение запланированного к выполненному покажет, какой процент задач смогла выполнить команда.

Выполнение рабочего цикла

Метрики agile можно использовать практически в любом виде продукта. Подобная система заставляет вас разбивать задачи на мелкие подзадачи и таким образом оптимизировать свою продуктивность. Чем короче получается рабочий цикл, тем быстрее вы выполняете свое дело. Если вы будете разбивать задачу на короткие рабочие циклы, то приближающиеся дедлайны заставят вашу команду работать продуктивнее. Важно измерять, выполнили ли сотрудники задачу в срок, в заданных временных рамках.

Вовлечённость

Обращайте внимание на пропущенные собрания, больничные и число опозданий. Все эти факторы могут говорить о том, что сотрудник испытывает профессиональное перегорание или с чем-то еще. Для маленькой команды, работающей в условиях жестких дедлайнов, отсутствие одного сотрудника может негативно сказаться на моральном духе всех остальных работников. Хоть посещаемость и время, проведенное на работе, необязательно могут отражать продуктивность сотрудника, эти метрики могут пригодиться для измерения мотивированности вашей команды.

Число допущенных багов

Эту метрику обычно используют разработчики, которые считают количество пропущенных багов в новом продукте. Она легко подойдет каждой команде, если считать за дефекты ошибки, влияющие на покупателя. Как только вы выявите общее количество багов, вы сможете рассчитать, сколько их появляется за определенное время и понять, насколько довольны ваши клиенты и продуктивна команда.

Посещаемость

Обращайте внимание на пропущенные собрания, больничные и число опозданий. Все эти факторы могут говорить о том, что сотрудник испытывает профессиональное перегорание или с чем-то еще. Для маленькой команды, работающей в условиях жестких дедлайнов, отсутствие одного сотрудника может негативно сказаться на моральном духе всех остальных работников. Хоть посещаемость и время, проведенное на работе, необязательно могут отражать продуктивность сотрудника, эти метрики могут пригодиться для измерения мотивированности вашей команды.

Какая должна быть аналитика у продуктов, чтобы фиксировать эффективность команды

Бизнес-аналитика

Выявление потребностей бизнеса, их оценка, принятие решений по изменению существующих процессов или внедрение новых. Описание возможных вариантов развития бизнеса, необходимо хорошо ориентироваться в бизнесе, понимать и применять маркетинговые исследования, быть в тренде бизнеса.

Системная аналитика

Фильтрация бизнес-требований, понимание целесообразности разработки, после чего фиксирование функциональных требований доступным, для разработки, способом (написание ТЗ, постановок, их согласование), координация процесса разработки, умение быстро предоставлять информацию, принятие взвешенных решений по проблемам разработки. Приемка продукта.

Аналитика UX

Выявление потребностей пользователя, умение перекладывать эти потребности на user friendly пользовательский интерфейс. Проектирование веб-систем и приложений.

Владение инструментами проектирования веб-интерфейсов. Знание принципов юзабилити, владение методиками проектирования. Умение видеть картину в целом, с точки зрения пользователя.

Аналитика Big Data

Структурирование данных для их хранения, преобразования, поиска, быстрого и удобного доступа к ним, для последующей обработки и составления аналитической отчетности или для удовлетворения других потребностей бизнеса.

Аналитика Data Scientist

Формулирование, фиксирование выдвигаемых математических гипотез для принятия решений, касаемо бизнеса компании.

Интеграционная аналитика

Построение mapping-таблиц различных форматов данных друг на друга, знание продуктов интеграции, понимание основных архитектурных решений по выстраиванию процессов интеграции. Координация процесса разработки


Узнать о курсе подробнее.

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru