Правильные решения в продвижении сайтов в интернете!
г. Москва, м. Сокольники, ул. Маленковская, д. 32, стр. 3
Режим работы: с 10:00 до 19:00, пн.- пт. (сб./вс. - выходной)
+7 (499) 391-17-76
8 (800) 707-05-97
e-mail: biz@o-es.ru

Продуктовые метрики на примере конструктора карт Яндекса

Сегодня хотелось бы рассказать Вам про продуктовые метрики. Причем нужно сразу же сделать акцент на том, что в качестве продукта в данном случае может выступать не только какое-то мобильное приложение или какая-то сложная платформа. На месте продукта может быть сайт или интернет-магазин.

В этом контексте мы будем рассматривать конструктор карт в качестве продукта, потому что хочется показать на конкретном примере, как можно смотреть на метрики и их оценивать. Существует определенный набор стандартных метрик, на которые принято смотреть. Однако в процессе развития сайта или продукта в нем происходят различные события, которые влияют на эти метрики. И если мы будем смотреть на какие-то стандартные метрики типа Daily Active Users (ежедневная аудитория), Monthly Active Users (месячная аудитория), то мы вряд ли сможем сделать какие-то выводы относительно того, как развивался сайт, какое именно событие повлияло на его развитие в лучшую или худшую сторону.

Поэтому здесь очень важно смотреть на когорты, на конкретные группы пользователей, чтобы понимать, какие пользователи в каких событиях принимали участие, оставались они внутри продукта или же они уходили из этого продукта, как только понимали, что он им не подходит или он им разонравился и т.д.

Конструктор карт и его возможности

Для начала, в нескольких словах расскажем о конструкторе карт и его возможностях.

Конструктор карт – это достаточно простой инструмент. Для чего он был сделан? С одной стороны, есть API карт, которое подразумевает, что человек, который использует API карт, понимает, что такое разработка, знает язык программирования JavaScript и умеет всем этим пользоваться. С другой стороны, есть аудитория, достаточно большой процент которой в программировании не разбирается. Но этой аудитории также нужны карты, они тоже хотят их использовать на сайтах или где-либо еще. Поэтому был придуман конструктор карт, который дал людям возможность создавать карты внутри отдельного сайта.

Это первая страница продукта. Здесь пользователь может нарисовать карту. Он может поставить метки, нарисовать линии, полигоны и так далее. Дальше он нажимает кнопку «Сохранить и продолжить» и попадает во вторую часть конструктора.

Здесь он может выбрать тип карты. Таким образом, весь продукт состоит из двух шагов. Первый – нарисовать карту. Второй – выбрать тип карты, который ему нужен. Карта может быть как для сайта, так и для печати. Ничего сложного, можно этим пользоваться и создавать карты.

Аудитория конструктора карт

Если говорить об аудитории, то ее можно разделить на два типа. С одной стороны, это бизнес, представители которого создают, сохраняют карты для того, чтобы вставить на сайт, показать пользователям, где, например, расположены зоны доставки, – куда можно доставить пиццу за 300 рублей, куда за 500.

Но также есть аудитория, которая использует карту в личных целях. Например, люди, которые рисуют различные маршруты прогулки на субботу. Или размечающие на карте удачные места для рыбалки.

Примеры использования конструктора карт

Пример с точками.

Маршруты.

Зоны доставки, которые показывают, в каком районе какая стоимость доставки.

Пример с метками – можно подгружать красивые метки, размечать, делать карту тематической.

Пример РБК – журналисты РБК создали карту, чтобы проиллюстрировать материал про конфликт в Сирии.

Развитие продукта и ключевые метрики

Перейдем к метрикам и к вопросу о продукте и о продуктовых метриках.

На слайде вы видите визиты по аудитории. Стрелочками отмечены два ключевых события, которые произошли внутри продукта. Два этих события, как видно на графике, повлияли на размер аудитории, на количество визитов.

  1. Октябрь 2015 года: «переезд» пользователей из другого продукта.
  2. Март 2016 года: официальный анонс новой функциональности.

Первое событие было связано с переездом – часть аудитории принудительно заставили перейти в продукт. Второе событие было связано с появлением нового функционала внутри продукта. Что имеется в виду под переездом? Когда-то давно у пользователей была возможность зайти на Яндекс.Карты – будем называть их «большими картами» – и сделать практически те же самые действия, которые есть сейчас внутри конструктора, только на больших картах. Поставить точки, сделать свою карту – несмотря на то, что этот функционал не был приоритетным, пользователи применяли его, создавали свои карты и т.д.

В какой-то момент дизайн карт обновился, и туда этот функционал не попал – его вынесли в отдельный продукт. По сути,пользователям, которые сидят на старой версии дизайна, сказали – извините, друзья, если вы хотите отредактировать ранее созданные вами карты, вы можете сделать это с помощью нового инструмента. И отправляли их ссылкой на этот инструмент. Рост аудитории внутри конструктора был связан с тем, что людей принудительно перевезли из другого сервиса.

Вторая история была связана с анонсом карты для печати внутри конструктора. Если раньше вы могли создавать карты только для сайта, то сейчас вы можете сделать полноценную карту для того, чтобы ее распечатать и повесить на улице города или у себя дома. Этот анонс был сделан на больших картах, потому что там находится целевая аудитория. В результате был получен определенный взлет (он виден на графике).

Этот функционал возник не просто так. Его сделали, потому что люди часто писали в техподдержку и говорили – выгрузите, пожалуйста, нам карту, мы хотим сделать городской проект. Или мы хотим разметить музей. Или мы МЧС, мы хотим разметить определенные точки и использовать это в своей работе. Это был актуальный запрос, и его добавили внутрь продукта.

Если посмотреть на график, на ежедневную или месячную аудиторию, мы вряд ли сможем сделать выводы о том, каким образом эти два события повлияли на продукт. С одной стороны, аудитория выросла. С другой, когда пользователей переводили из больших карт внутрь конструктора, в поддержку Яндекса написали много гневных отзывов – верните нам, пожалуйста, «Мои карты» в больших картах, потому что мы привыкли этим пользоваться и не хотим идти в новый конструктор. Несмотря на это на графике был определенный рост аудитории. Тогда команда Яндекс.Карт решила покопать немного глубже и разделить аудиторию на когорты.

Получилось три группы. Первая группа – это те люди, которых перевезли. В качестве даты первого визита была указана та неделя, когда появилось сообщение о переходе в новый конструктор, поэтому источник трафика был понятен. Для второй группы был анонс в виде рекламного сообщения. Там была проставлена UTM-метка. Третья группа – это стандартные пользователи конструктора, которые не участвовали ни в первом, ни во втором событиях. Они были нужны для сравнения поведения тех или иных групп.

Недостаточно просто выделить группы, нужно понять, в каком разрезе мы хотим проанализировать поведение этой аудитории. Для этого нужно экспериментировать с воронками. С одной стороны, есть стандартная воронка и определенный соблазн придерживаться именно этих пунктов:

  • Привлечение. Как пользователи вас находят?
  • Активация. Получают ли они первый успешный опыт?
  • Удержание. Они возвращаются на сервис?
  • Доход. Как вы зарабатываете?
  • Рекомендации. Рассказывают ли они о вас другим?

Для команды Яндекс.Карт были важны всего два пункта – активация и удержание. С привлечением, с точки зрения источника трафика, все было понятно. С точки зрения дохода, Яндекс не зарабатывает на конструкторе деньги, его применяют в качестве маркетингового инструмента, чтобы люди знали про Яндекс.Карты и использовали их в разных сценариях.

Что касается рекомендаций, тут тоже достаточно тонкий момент, потому что люди, которые создают карты с помощью конструктора, вставляют их себе на сайт, печатают их и размещают где-то в городе. Таким образом, возникает вторичный, третичный и т.д. контакт, и эти карты являются рекомендациями. В случае с печатными картами посчитать эффект невозможно. Поэтому команда Яндекс.Карт решила сосредоточиться на двух ключевых пунктах, связанных с положительным опытом и возвращением в сервис, и проанализировать ситуацию в этом контексте.

Группа № 1. Мои карты

Перейдем к группам и начнем с группы людей, которых перевезли из больших карт. Сравнивать эту группу мы будем с третьей стандартной группой и посмотрим на поведенческие метрики.

Вот таким образом выглядело сообщение: «Дорогой друг, переходи в специальный конструктор, ты можешь там редактировать уже имеющиеся у тебя карты и создавать новые». Напомним, что здесь первый пункт воронки рассматривается в качестве положительного опыта.

В качестве цели была установлена кнопка открыть «Из моих карт». То есть человек пришел и хочет открыть карту, созданную ранее. Для этого он выбирает специальную вкладку и нужную ему карту. После того как он выбрал карту, мы смотрим на этот параметр.

По оси X идут недели, по оси Y идут проценты. График выглядит вполне прилично и показывает динамику по неделям. Люди продолжали приходить в течение 8–9 недель и пользоваться этим функционалом внутри конструктора.

Если сравнить две аудитории, стандартную и тех, кто пришел из «Моих карт», мы увидим, что активность у вторых гораздо выше, чем у первых. Это свидетельствовало о том, что люди, несмотря на какую-то негативную обратную связь, все-таки пользовались новым продуктом, пытались познакомиться с ним, изучить его возможности.

В качестве второго критерия для анализа была выбрана кнопка «Сохранить и продолжить». Эта кнопка позволяет перейти от первого шага (рисования карты) ко второму шагу, выбору типа карты – печатная либо карта на сайт. Здесь получился вот такой график:

Если наложить его на стандартную аудиторию, мы увидим, что люди переходят с первого экрана на второй, не покидают продукт на первом экране, изучают его возможности. В качестве активации, в качестве первого опыта знакомства с продуктом, это очень здорово.

В качестве удержания рассматривалась метрика «Открыть из конструктора». Когда пользователь попадает в продукт, у него есть возможность выбрать карты. Карту он может подгрузить либо из тех, которые он создавал на больших картах, либо может открыть карту из конструктора.

Во втором случае это значит, что он уже создал там какие-то карты – либо в качестве эксперимента, либо он уже начал активно пользоваться продуктом. В этом случае, график выглядит таким образом. Если пользователь открывает карту из конструктора, по недельной разбивке это выглядит так:

Если сравнивать со стандартной аудиторией, видно, что активность даже чуть выше.

А вот этот график показывает, что людей, которые открывают карту из конструктора, становится все больше, график растет. А график, связанный с тем, что люди открывают из «Моих карт» (тех карт, которые они создавали в предыдущем продукте), снижается. То есть они создают все больше карт в новом конструкторе, значит они им пользуются, значит они достигают поставленной цели.

Группа № 2. Печатные карты

Это группа, для которой анонсировали новый функционал с печатными картами. Это другой сценарий и другая история. Вторую группу мы сравнивали с третьей – группой стандартных пользователей конструктора. Вот таким образом выглядел анонс – рекламное сообщение, на которое можно было кликнуть.

С точки зрения параметров анализа, точкой активации была выбрана цель «Открыть раздел «Помощь». Ее выбрали, потому что «Помощь» позволяет человеку разобраться и ответить на вопросы. У печатной карты есть определенные ограничения, об этих ограничениях написано в разделе «Помощь».

Вот скриншот раздела «Помощь», чтобы вам было понятно, как этот раздел представлен внутри продукта.

И вот как выглядит график, связанный с помощью. На этом графике видно, что есть определенный взлет и постепенно этот график уходит в ноль. Не зная последующей картинки, гипотетически можно было бы предположить, что люди познакомились с возможностями приложения, и зачем им потом открывать помощь, если они уже знают, что собой представляет продукт, и умеют им пользоваться. Здесь все выглядит вполне логично.

Но если посмотреть в разрезе со стандартной аудиторией, то стандартная аудитория так или иначе прибегает к разделу «Помощь», потому что появляются новые пользователи, которые еще не знают всех возможностей.

Рассмотрим еще один параметр – параметр «Сохранить и продолжить». Это переход от первого этапа взаимодействия продукта, когда рисуется карта, ко второму этапу, когда определен способ ее использования – распечатать или вставить на сайт. Здесь график тоже выглядит достаточно странно, потому что на третьей неделе всё, как и в прошлый раз, сходит к нулю. Мы видим какую-то первую активность – люди нажимают на эту кнопку, а потом они из этой когорты перестают это делать.

Давайте посмотрим, как выглядит ситуация по сравнению со стандартной аудиторией. Здесь получается следующая картинка. Во-первых, эти показатели ниже, чем у стандартной аудитории. И здесь мы можем предположить, что эта аудитория, которая перешла с рекламного баннера, это люди, которые более или менее заинтересованы в теме картографии. Но есть предположение, что на этом этапе отсеялись те, кто просто пришел познакомиться с продуктом, не стал дальше изучать его возможности и закрыл продукт. А те, кто действительно хотели создать карту для печати, перешли на второй шаг.

Что касается снижения в ноль, изначально была гипотеза, что люди, которые пришли с рекламного баннера, поэкспериментировали и ушли. Но здесь важно посмотреть на параметр удержания. Важным параметром был «Сохранить карту на Яндекс.Диск».

Это скриншот второго экрана, когда пользователь нарисовал карту и хочет выбрать ее тип. У него есть возможность нажать на кнопку «Сохранить на Яндекс.Диск» и получить печатную карту, которую он создал, и распечатать ее, например, в типографии.

График имеет такую же тенденцию – на третьей неделе он сходит к нулю.

Здесь мы видим, что активность существенно выше, чем у стандартной аудитории, но на третьей неделе опять нулевая активность. Теперь нужно посмотреть на еще один график. Этот график связан с активностью пользователей без деления на когорты внутри продукта.

Та аудитория, которая пришла с рекламного сообщения, впоследствии могла возвращаться в продукт. И этот график подтверждает, что она действительно возвращалась в продукт и делала операцию «Сохранить на Яндекс.Диск», чтобы напечатать карту. Но она возвращалась не обязательно по рекламной ссылке, она могла вернуться, например, набирая в поиске «конструктор карт Яндекса», сделав закладку, и т.д. На третьей неделе был потерян контакт по рекламной ссылке, и эта аудитория конвертировалась в постоянную.

Выводы

Если говорить о выводах, которые можно сделать из этого детального анализа, нужно отметить 4 момента:

  1. Помните о том, что не все метрики одинаково полезны. Первый момент связан с тем, что не нужно бояться экспериментировать с метриками, с продуктовыми показателями. Смотрите на события, делите аудиторию по группам, отвечайте на те вопросы, которые у вас возникают. Потому что действительно важно понимать не просто тенденцию к росту или снижению аудитории в целом, но и причины этого роста или снижения.
  2. Адаптируйте типовые воронки под цели и особенности вашего продукта. Не бойтесь адаптировать воронки под свой продукт. Есть стандартные воронки – про адаптацию, удержание, рекомендацию и прочее. Но все продукты абсолютно разные. Нельзя просто так взять и наложить продукт на уже существующую воронку. У каждого продукта есть свои особенности. Не бойтесь подгонять под эту воронку какие-то свои цели и стараться сделать по этой воронке выводы.
  3. Делите аудиторию на когорты и наблюдайте за динамикой. Деление аудитории на когорты – это очень интересная практика. Она позволяет понять, как ведет себя аудитория в зависимости от того, в какой момент она присоединилась к продукту, что этому способствовало, что этому предшествовало.
  4. Подводите итоги, учитывая полную картину – количество вложенных усилий и эффект. Четвертый и последний пункт – про картинку целиком. Яндекс разместил баннер на своем же сайте. Ему это стоило полчаса работы дизайнера, который нарисовал картинки. Если бы у команды Яндекс.Карт был большой рекламный бюджет и его бы потратили на то, чтобы разместить баннер на каком-то очень дорогом ресурсе, то, возможно, эти деньги были бы потрачены впустую.

Источник (видео): Карты и конверсия. Татьяна Попова, Яндекс

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Нажимая на кнопку «Отправить комментарий», вы соглашаетесь с Условиями использования