Чем занимается продуктовый аналитик: задачи и обязанности. Продуктовые метрики на примере конструктора карт яндекса Ключевые метрики продукта

Схемы слов дети учатся составлять, начиная с первого класса. Однако многим ребятишкам трудно отделить форму от содержания, они путаются с условными обозначениями, забывают определения понятий. Схемы слов дети учатся составлять, начиная с первого класса.

Однако многим ребятишкам трудно отделить форму от содержания, они путаются с условными обозначениями, забывают определения понятий. Определение слова или словосочетания и его значение. Схема. Схема, -ы, женский род. 1. Совокупность взаимосвязанных частей какого-нибудь устройства, прибора, узла, а также чертёж, разъясняющий принципы работы такого устройства. Общая с. работы узла. Тема: «Слова-предметы, слова-действия, слова-признаки». Цели: 1. Закрепить понятия о словах-предметах, словах-действиях и словах-признаках.

2. Закрепить умение правильно задавать вопросы к этим словам. 3. Развивать внимание, память, мышление. 4. Воспитывать навыки организованного поведения. Оборудование: схема слова-признака, предметные картинки, муляжи фруктов и овощей. Ход занятия: I.Организационный момент Слово-признак обозначается вот такой схемой.

Инструкция 2: А теперь возьми лимон. Пример: запрос "слово*" найдет слова где есть буквы: "с","л","о","в","о" и одна буква не известна, причем все буквы могут быть перемешаны. Если вы знаете точное положение букв вам подойдет сервис поиска слов по шаблону. Поиск на русском, английском и украинском языках. Моментальный поиск даже по миллионному словарю ~ секунд.

Огромная база слов. Более, русских, украинских и, английских слов. По какому признаку вы догадались, что слова, имеющие такую структуру, имена прилагательные? Помогите пожалуйста..буду благодарна.

Няя (__р.), (___.ч) ___овое (___.р), (___ч) ____истый (___.р), (___.ч) _____ская (___.р), (___.ч) Впишите в скобки род и число имён прилагательных. Под каждой схемой запишите слово,имеющее такой состав. Попроси больше объяснений.

Следить. Карточки по русскому языку "Слова-названия предметов, признаков, действий" картотека по русскому языку на тему. Опубликовано - - Мурашкина Светлана Викторовна. Карточки для работы на уроках русского языка в 1 и 2 классе. В стихотворении найди слова-признаки и подчеркни их волнистой линией. Как ходило солнышко. В золотой рубашке.

Особым фонетическим признаком слов тюркского происхождения является гармония гласных- закономерное употребление в одном слове гласных только одного ряда: заднего а,у или переднего е,и: атаман, караван, аркан, сундук, каблук, мечеть, бисер. Некоторые грамматические формы глаголов, существительных, прилагательных характеризуются особыми правилами произношения звуков в суффиксах и окончаниях.

Categories Post navigation

Когортный анализ - эффективный инструмент продуктовой и маркетинговой аналитики. Даже те, кто знают о его существовании, используют крайне редко. В рамках серии статей «Курс аналитики» об эффективности когортного анализа расскажет аналитик компании ZeptoLab Олег Якубенков .

Давайте попробуем сравнить два автомобиля и узнать, какой из них лучше:

первый проехал 2 000 км, второй - 12 000 км;
первым автомобилем пользуются 5 раз в неделю, вторым - 4 раза;
первый автомобиль в последний месяц в среднем проезжал 10 км, второй - 20;
в данный конкретный момент первый автомобиль едет на скорости 100 км/ч, а второй автомобиль - на скорости 70км/ч.

К сожалению, на основе имеющейся информации ответить на поставленный вопрос невозможно. Почему-то как только дело доходит до интернет-проектов или мобильных приложений, то все начинают следить за метриками вроде DAU, MAU, доход, общее количество регистраций и пытаться на основе них делать выводы о продукте, влиянии изменений и эффективности маркетинговых активностей.

Перечисленные выше метрики являются метриками роста . За ними полезно следить для общего понимания ситуации, но применительно к работе над продуктом они бесполезны, так как на их основе невозможно принимать продуктовые решения, ровно как и оценивать влияние продуктовых изменений.

Руководителя продукта, в первую очередь, должны интересовать его «объем» и «плотность», а не его «масса». «Масса» просто констатирует факт, не объясняя, откуда она взялась и как на нее повлиять. Нужно стремиться к тому, чтобы разложить ключевые метрики на составляющие, декомпозировать их, определяя рычаги воздействия на них - основная задачей при работе над продуктом.

В этой деятельности не обойтись без аналитики. Аналитика является обратной связью на действия, глазами в продуктовом мире. Сначала аналитика позволяет понять, где мы находимся, что за продукт сделали, как им пользуются в реальном мире, а затем позволяет увидеть то, как действия, вносимые изменения влияют на продукт. Аналитикой на картинке ниже я называю этапы: Measure, Data, Learn.

Одним из наиболее эффективных инструментов продуктовой аналитики являетсякогортный анализ . Именно о нем сегодня пойдет речь.

Почему метрики роста бессмысленны для аналитики продукта

Давайте рассмотрим следующую модельную ситуацию. Есть продукт, который обладает следующими характеристикам:

стоимость привлечения пользователя составляет 1$;
средний доход с одного пользователя составляет 2$ в течение следующих 4 месяцев;
30% новых пользователей продолжают пользоваться продуктом спустя месяц (далее доля постепенно снижается до 15%);
команда продвижения привлечет 10 тыс. новых пользователей в первый месяц после запуска, 15 тыс. во второй, 20 тыс. в третий и так далее;
продакт-менеджер, который отвечает за развитие продукта, вносит в него изменения каждый месяц. Изменения неудачные, поэтому после каждого из изменений доход с пользователя падает на 0,1$, а доля пользователей, продолжающих использовать продукт падает на 2%.

В компании, где разрабатывается этот продукт, принято следить за месячной аудиторией (MAU или Monthly Active Users) и прибылью каждого из проектов. На основе этих метрик выставляются KPI и оцениваются успехи команды, работающей над продуктом.

Следя за выбранными метриками, спустя первые 9 месяцев руководство было очень довольно результатами нового продукта, в том числе и успехами продакт-менеджера. Но вспомните – наш продакт менеджер каждый месяц портит продукт! При этом метрики роста уверенно идут вверх.

Ниже приведены те же самые графики, но уже за 16 месяцев. На этих графиках мы, наконец, видим первые признаки неудачных изменений продукта. Но лишь спустя 12 месяцев.

Дело в том, что на метрики роста влияют две составляющие: продукт и продвижение. Следя за метриками роста, вы не можете просто отделить эти два фактора. Именно по этой причине метрики роста совершенно не подходят для продуктовой аналитики.

При правильно построенной аналитике мы бы увидели неудачное влияние обновлений продукта еще в первые недели/месяцы.

Суть когортного анализа

В каждый конкретный день аудитория вашего продукта представляют из себя смесь тех, кто начал использовать ваш сервис сегодня, вчера, месяц назад и так далее. Следить за этой неоднородной массой и пытаться делать выводы – крайне неблагодарное занятие.

Идея когортного анализа состоит в том, чтобы резделить пользоватей на группы по определенным признакам, и отслеживать поведение этих групп во времени

Обычно группы пользователей (когорты) выделяют на основе недели (месяца), когда пользователи пришли в приложение. Выделив такие группы пользователей, мы следим за ними в течение времени и измеряем ключевые метрики для каждой отдельной когорты. Сравнивая показатели мартовской и майской когорт пользователей, можно объективно сравнивать соответствующие этим периодам времени версии продукта.

Для более глубокой аналитики выделенные когорты необходимо дополнительно сегментировать на основе источника трафика, платформы, страны и других факторов, которые имеют смысл в вашем конкретном продукте.

Скорее всего, значения ключевых метрик будут отличаться для разных сегментов, ровно как и разные продуктовые изменения будут по-разному влиять на разные сегменты пользователей.

Ключевые метрики продукта - LTV и CAC

Две ключевые метрики, которые в конечном итоге определяют финансовую успешность вашего продукта - это LTV (Life Time Value) и CAC (Customer Acquisition Cost).

LTV - деньги, которые средний пользователь тратит в вашем мобильном приложении за все время его использования. CAC - ваши затраты на привлечение среднего пользователя.

Почему эти две метрики так важны для вашего продукта и как они влияют на ваши бизнес показатели вы можете прочитать в материале « Аналитика SaaS. Критерии жизнеспособности » и в материале «Убийца стартапов: стоимость привлечения клиентов » или посмотреть на Vimeo . В рамках же этой статьи важность этих метрик будет принята по умолчанию, а более подробно будет освещены способы работы с этими метриками.

LTV - это ключевая метрика, отражающая ценность (пользу) вашего продукта для ваших пользователей и клиентов . Именно эта метрика должна стоять во главе угла при работе над продуктом.

LTV - замечательная метрика, но у нее есть один минус - она высокоуровневая. Чтобы понимать, как на нее воздействовать, необходимо ее декомпозировать на более простые и приземленные на продукт метрики.

Декомпозиция LTV на метрики продукта

Обычно метрики привязываются к ключевым точкам жизненного цикла пользователя в приложении. Тем самым мы создаем возможность отслеживать успешность продвижения пользователей в приложении и находить узкие места, требующие нашего внимания.

Я обычно отслеживаю путь пользователя в продукте с точки зрения его вовлеченности и монетизации.

Вовлеченность описывается следующими этапами в жизненном цикле пользователя:

активация в приложении
залипание в приложении (или активность использования)
долгосрочный retention (сколько пользователей продолжают использовать продукт спустя месяц, два месяца и так далее после регистрации)

Монетизация же описывается следующей последовательностью этапов жизненного цикла пользователя:

активация в приложении
увидел продающий экран
совершил 1 покупку
совершил 2 покупку

Ниже я привел метрики, соответствующие каждому из этапов жизненного цикла пользователя в продукте (метрики могут отличаться для разных продуктов):

Активация в приложении (% тех, кто прошел туториал или совершил ключевое целевое действие в приложении, например, зарегистрировался и добавил первых друзей);

залипание в приложении (% пользователей, который дошли до N уровня или, например, добавили N друзей: число N определяется экспериментальным путем);
пользователь увидел предложение о покупке (% пользователей, которые увидели предложение о покупке);
пользователь совершил первую покупку (% покупающих что-либо в приложении, средняя сумма первой покупки);
пользователь совершил повторную покупку (% совершивших повторную покупку, средняя сумма повторной покупки, среднее количество повторных покупок);
retention (% пользователей, которые используют приложение спустя месяц/два/три/четыре после регистрации).

Все этим метрики влияют в конечном итоге на LTV. В каждом из продуктов могут быть свои особенности, но для большинства подобные базовые этапы/метрики подойдут.

Метрики продукта и как они влияют на LTV

Рассмотрим описанные выше метрики продукта и то, как они влияют на LTV, на примере абстрактной игры.

Активация в приложении

В любой игре пользователя сначала обучают, проводя его через туториал. Те, кто не прошли туториал, скорее всего, не будут дальше играть и, тем более, платить. Именно поэтому для нас критично отслеживать долю пользователей, успешно прошедших этот этап.

Также полезно отслеживать долю тех, кто смог выполнить ряд целевых действий по окончании туториала (то есть обучился и теперь может самостоятельно играть). Такая метрика будет отражать насколько качественно спроектирован процесс обучения.

Пользователь «залип» в приложении

Пользователь, скорее всего, не будет платить, если он не увлекся игрой. Именно поэтому нам надо отслеживать долю тех, кто играет в приложение постоянно. С этой целью мы измеряем долю тех, кто прошел до N уровня или тех, кто заходил в приложении более 5 раз в течение недели с момента установки.

Обычно метрику для факта залипания определяют опытным путем (примеры подобных метрик для ряда популярных сервисов).

Пользователь увидел предложение о покупке, сделал первую покупку

Одной из наших целей является получение дохода, поэтому нам надо стимулировать первую покупку в приложении. Но покупка совершается с определенного экрана нашего приложения (например, с экрана магазина), поэтому необходимо отслеживать долю пользователей, которые увидели этот экран.

Если экран о продаже видят 10% приходящих пользователей, то это автоматически ограничивает сверху долю пользователей, которые могут сделать первую покупку в нашей игре.

Повторные покупки

Первая покупка - это хорошо, но финансово успешные продукты обычно отличаются высокой долей повторных покупок. Часто первая покупка - это определенный кредит доверия пользователя приложению – если он удовлетворен результатом и полученной пользой, то, скорее всего, он совершит и повторную покупку. Поэтому еще одной важной метрикой становится доля пользователей, совершающих повторные покупки, а также среднее количество повторных покупок.

Retention

Для того, чтобы пользователи имели шанс совершить несколько покупок, они должны продолжать играть в нашу игру в течение длительного времени, а не бросать ее спустя день. Для отслеживания этого явления мы будем измерять retention.

Построение продуктовой аналитики и пример использования когортного анализа

Самым простым в реализации вариантом построения аналитики продукта будет создание воронок на каждое из описанных выше событий. В большинстве случаев у вас получатся воронка монетизации и воронка вовлеченности пользователей.

Далее необходимо сравнивать показатели вашего продукта для когорт пользователей, сформированных на основе недели, когда они пришли в приложение. Для такой аналитики идеально подходят инструменты Mixpanel и Localytics.

Более сложный, но и наиболее продуктивный подход - использование когортного анализа для продуктовой аналитики. Использование когортного анализа углубит ваше понимание продукта и того, как ваши пользователи используют его во времени.

Будем формировать когорты пользователей на основе недели, когда они пришли в приложение. Для простоты в примере рассмотрены только следующие метрики: CAC, LTV, Ratention, % совершивших первую покупку, % совершивших повторную покупку. Также для простоты когорты не сегментировались ни по каким дополнительным признакам.

Ниже приведена таблица когортного анализа рассматриваемого продукта (можете считать, что это игра или туристическое приложение).

В первую неделю в первую версию нашего приложения пришло 3000 пользователей. На конец «0 недели» 25% из них прошли туториал, но еще никто не заплатил. К концу первой недели еще 5% прошли туториал (то есть всего уже 30%), при этом 1,2% совершили первую покупку. К концу второй недели туториал прошли 34% из рассматриваемой когорты, а первую покупку совершили 1,4%.

Спустя неделю мы выпустили новую версию приложения, где изменили туториал. Как мы видим из таблицы когортного анализа - сработало! К концу четвертой недели уже 47% прошли туториал (ранее лишь 34%). Расширение воронки монетизации на уровне туториала увеличило и долю тех, кто совершил покупку. К сожалению, наши пользователи не совершают повторные покупки, что не позволяет выйти на операционную безубыточность продукта, даже несмотря на то, что команда продвижения смогла существенно снизить CAC (пусть и сократив приток новых пользователей). Тратим на привлечение мы 0,8$, а зарабатываем лишь 0,5$ со среднего пользователя спустя 8 недель.

В третьей версии приложения мы доработали туториал и добавили новые покупки в приложение, увеличив разнообразие. Это позволило нам увеличить долю повторных покупок и сравнять LTV с CAC.

Примерно так когортный анализ позволяет нам понимать свой продукт, а также то, какие улучшения работают, а какие нет.

В заключении

Самый сложный этап в работе над продуктом возникает тогда, когда первые значения метрик для вашего продукта получены и встают вопросы:

Полученные значения метрик – это хорошо или плохо?
Над какой метрикой следует работать в следующей версии приложения в первую очередь?
Как приоритезировать гипотезы, придуманные для улучшения метрики?

Сегодня хотелось бы рассказать Вам про продуктовые метрики. Причем нужно сразу же сделать акцент на том, что в качестве продукта в данном случае может выступать не только какое-то мобильное приложение или какая-то сложная платформа. На месте продукта может быть сайт или интернет-магазин.

В этом контексте мы будем рассматривать конструктор карт в качестве продукта, потому что хочется показать на конкретном примере, как можно смотреть на метрики и их оценивать. Существует определенный набор стандартных метрик, на которые принято смотреть. Однако в процессе развития сайта или продукта в нем происходят различные события, которые влияют на эти метрики. И если мы будем смотреть на какие-то стандартные метрики типа Daily Active Users (ежедневная аудитория), Monthly Active Users (месячная аудитория), то мы вряд ли сможем сделать какие-то выводы относительно того, как развивался сайт, какое именно событие повлияло на его развитие в лучшую или худшую сторону.

Поэтому здесь очень важно смотреть на когорты, на конкретные группы пользователей, чтобы понимать, какие пользователи в каких событиях принимали участие, оставались они внутри продукта или же они уходили из этого продукта, как только понимали, что он им не подходит или он им разонравился и т.д.

Конструктор карт и его возможности

Для начала, в нескольких словах расскажем о конструкторе карт и его возможностях.

Конструктор карт – это достаточно простой инструмент. Для чего он был сделан? С одной стороны, есть API карт, которое подразумевает, что человек, который использует API карт, понимает, что такое разработка, знает язык программирования JavaScript и умеет всем этим пользоваться. С другой стороны, есть аудитория, достаточно большой процент которой в программировании не разбирается. Но этой аудитории также нужны карты, они тоже хотят их использовать на сайтах или где-либо еще. Поэтому был придуман конструктор карт, который дал людям возможность создавать карты внутри отдельного сайта.

Это первая страница продукта. Здесь пользователь может нарисовать карту. Он может поставить метки, нарисовать линии, полигоны и так далее. Дальше он нажимает кнопку «Сохранить и продолжить» и попадает во вторую часть конструктора.

Здесь он может выбрать тип карты. Таким образом, весь продукт состоит из двух шагов. Первый – нарисовать карту. Второй – выбрать тип карты, который ему нужен. Карта может быть как для сайта, так и для печати. Ничего сложного, можно этим пользоваться и создавать карты.

Аудитория конструктора карт

Если говорить об аудитории, то ее можно разделить на два типа. С одной стороны, это бизнес, представители которого создают, сохраняют карты для того, чтобы вставить на сайт, показать пользователям, где, например, расположены зоны доставки, – куда можно доставить пиццу за 300 рублей, куда за 500.

Но также есть аудитория, которая использует карту в личных целях. Например, люди, которые рисуют различные маршруты прогулки на субботу. Или размечающие на карте удачные места для рыбалки.

Примеры использования конструктора карт

Пример с точками.

Маршруты.

Зоны доставки, которые показывают, в каком районе какая стоимость доставки.

Пример с метками – можно подгружать красивые метки, размечать, делать карту тематической.

Пример РБК – журналисты РБК создали карту, чтобы проиллюстрировать материал про конфликт в Сирии.

Развитие продукта и ключевые метрики

Перейдем к метрикам и к вопросу о продукте и о продуктовых метриках.

На слайде вы видите визиты по аудитории. Стрелочками отмечены два ключевых события, которые произошли внутри продукта. Два этих события, как видно на графике, повлияли на размер аудитории, на количество визитов.

Октябрь 2015 года: «переезд» пользователей из другого продукта.
Март 2016 года: официальный анонс новой функциональности.

Первое событие было связано с переездом – часть аудитории принудительно заставили перейти в продукт. Второе событие было связано с появлением нового функционала внутри продукта. Что имеется в виду под переездом? Когда-то давно у пользователей была возможность зайти на Яндекс.Карты – будем называть их «большими картами» – и сделать практически те же самые действия, которые есть сейчас внутри конструктора, только на больших картах. Поставить точки, сделать свою карту – несмотря на то, что этот функционал не был приоритетным, пользователи применяли его, создавали свои карты и т.д.

В какой-то момент дизайн карт обновился, и туда этот функционал не попал – его вынесли в отдельный продукт. По сути,пользователям, которые сидят на старой версии дизайна, сказали – извините, друзья, если вы хотите отредактировать ранее созданные вами карты, вы можете сделать это с помощью нового инструмента. И отправляли их ссылкой на этот инструмент. Рост аудитории внутри конструктора был связан с тем, что людей принудительно перевезли из другого сервиса.

Вторая история была связана с анонсом карты для печати внутри конструктора. Если раньше вы могли создавать карты только для сайта, то сейчас вы можете сделать полноценную карту для того, чтобы ее распечатать и повесить на улице города или у себя дома. Этот анонс был сделан на больших картах, потому что там находится целевая аудитория. В результате был получен определенный взлет (он виден на графике).

Этот функционал возник не просто так. Его сделали, потому что люди часто писали в техподдержку и говорили – выгрузите, пожалуйста, нам карту, мы хотим сделать городской проект. Или мы хотим разметить музей. Или мы МЧС, мы хотим разметить определенные точки и использовать это в своей работе. Это был актуальный запрос, и его добавили внутрь продукта.

Если посмотреть на график, на ежедневную или месячную аудиторию, мы вряд ли сможем сделать выводы о том, каким образом эти два события повлияли на продукт. С одной стороны, аудитория выросла. С другой, когда пользователей переводили из больших карт внутрь конструктора, в поддержку Яндекса написали много гневных отзывов – верните нам, пожалуйста, «Мои карты» в больших картах, потому что мы привыкли этим пользоваться и не хотим идти в новый конструктор. Несмотря на это на графике был определенный рост аудитории. Тогда команда Яндекс.Карт решила покопать немного глубже и разделить аудиторию на когорты.

Получилось три группы. Первая группа – это те люди, которых перевезли. В качестве даты первого визита была указана та неделя, когда появилось сообщение о переходе в новый конструктор, поэтому источник трафика был понятен. Для второй группы был анонс в виде рекламного сообщения. Там была проставлена . Третья группа – это стандартные пользователи конструктора, которые не участвовали ни в первом, ни во втором событиях. Они были нужны для сравнения поведения тех или иных групп.

Недостаточно просто выделить группы, нужно понять, в каком разрезе мы хотим проанализировать поведение этой аудитории. Для этого нужно экспериментировать с воронками. С одной стороны, есть стандартная воронка и определенный соблазн придерживаться именно этих пунктов:

Привлечение. Как пользователи вас находят?
Активация. Получают ли они первый успешный опыт?
Удержание. Они возвращаются на сервис?
Доход. Как вы зарабатываете?
Рекомендации. Рассказывают ли они о вас другим?

Для команды Яндекс.Карт были важны всего два пункта – активация и удержание. С привлечением, с точки зрения источника трафика, все было понятно. С точки зрения дохода, Яндекс не зарабатывает на конструкторе деньги, его применяют в качестве маркетингового инструмента, чтобы люди знали про Яндекс.Карты и использовали их в разных сценариях.

Что касается рекомендаций, тут тоже достаточно тонкий момент, потому что люди, которые создают карты с помощью конструктора, вставляют их себе на сайт, печатают их и размещают где-то в городе. Таким образом, возникает вторичный, третичный и т.д. контакт, и эти карты являются рекомендациями. В случае с печатными картами посчитать эффект невозможно. Поэтому команда Яндекс.Карт решила сосредоточиться на двух ключевых пунктах, связанных с положительным опытом и возвращением в сервис, и проанализировать ситуацию в этом контексте.

Группа № 1. Мои карты

Перейдем к группам и начнем с группы людей, которых перевезли из больших карт. Сравнивать эту группу мы будем с третьей стандартной группой и посмотрим на поведенческие метрики.

Вот таким образом выглядело сообщение: «Дорогой друг, переходи в специальный конструктор, ты можешь там редактировать уже имеющиеся у тебя карты и создавать новые». Напомним, что здесь первый пункт воронки рассматривается в качестве положительного опыта.

В качестве цели была установлена кнопка открыть «Из моих карт». То есть человек пришел и хочет открыть карту, созданную ранее. Для этого он выбирает специальную вкладку и нужную ему карту. После того как он выбрал карту, мы смотрим на этот параметр.

По оси X идут недели, по оси Y идут проценты. График выглядит вполне прилично и показывает динамику по неделям. Люди продолжали приходить в течение 8–9 недель и пользоваться этим функционалом внутри конструктора.

Если сравнить две аудитории, стандартную и тех, кто пришел из «Моих карт», мы увидим, что активность у вторых гораздо выше, чем у первых. Это свидетельствовало о том, что люди, несмотря на какую-то негативную обратную связь, все-таки пользовались новым продуктом, пытались познакомиться с ним, изучить его возможности.

В качестве второго критерия для анализа была выбрана кнопка «Сохранить и продолжить». Эта кнопка позволяет перейти от первого шага (рисования карты) ко второму шагу, выбору типа карты – печатная либо карта на сайт. Здесь получился вот такой график:

Если наложить его на стандартную аудиторию, мы увидим, что люди переходят с первого экрана на второй, не покидают продукт на первом экране, изучают его возможности. В качестве активации, в качестве первого опыта знакомства с продуктом, это очень здорово.

В качестве удержания рассматривалась метрика «Открыть из конструктора». Когда пользователь попадает в продукт, у него есть возможность выбрать карты. Карту он может подгрузить либо из тех, которые он создавал на больших картах, либо может открыть карту из конструктора.

Во втором случае это значит, что он уже создал там какие-то карты – либо в качестве эксперимента, либо он уже начал активно пользоваться продуктом. В этом случае, график выглядит таким образом. Если пользователь открывает карту из конструктора, по недельной разбивке это выглядит так:

Если сравнивать со стандартной аудиторией, видно, что активность даже чуть выше.

А вот этот график показывает, что людей, которые открывают карту из конструктора, становится все больше, график растет. А график, связанный с тем, что люди открывают из «Моих карт» (тех карт, которые они создавали в предыдущем продукте), снижается. То есть они создают все больше карт в новом конструкторе, значит они им пользуются, значит они достигают поставленной цели.

Группа № 2. Печатные карты

Это группа, для которой анонсировали новый функционал с печатными картами. Это другой сценарий и другая история. Вторую группу мы сравнивали с третьей – группой стандартных пользователей конструктора. Вот таким образом выглядел анонс – рекламное сообщение, на которое можно было кликнуть.

С точки зрения параметров анализа, точкой активации была выбрана цель «Открыть раздел «Помощь». Ее выбрали, потому что «Помощь» позволяет человеку разобраться и ответить на вопросы. У печатной карты есть определенные ограничения, об этих ограничениях написано в разделе «Помощь».

Вот скриншот раздела «Помощь», чтобы вам было понятно, как этот раздел представлен внутри продукта.

И вот как выглядит график, связанный с помощью. На этом графике видно, что есть определенный взлет и постепенно этот график уходит в ноль. Не зная последующей картинки, гипотетически можно было бы предположить, что люди познакомились с возможностями приложения, и зачем им потом открывать помощь, если они уже знают, что собой представляет продукт, и умеют им пользоваться. Здесь все выглядит вполне логично.

Но если посмотреть в разрезе со стандартной аудиторией, то стандартная аудитория так или иначе прибегает к разделу «Помощь», потому что появляются новые пользователи, которые еще не знают всех возможностей.

Рассмотрим еще один параметр – параметр «Сохранить и продолжить». Это переход от первого этапа взаимодействия продукта, когда рисуется карта, ко второму этапу, когда определен способ ее использования – распечатать или вставить на сайт. Здесь график тоже выглядит достаточно странно, потому что на третьей неделе всё, как и в прошлый раз, сходит к нулю. Мы видим какую-то первую активность – люди нажимают на эту кнопку, а потом они из этой когорты перестают это делать.

Давайте посмотрим, как выглядит ситуация по сравнению со стандартной аудиторией. Здесь получается следующая картинка. Во-первых, эти показатели ниже, чем у стандартной аудитории. И здесь мы можем предположить, что эта аудитория, которая перешла с рекламного баннера, это люди, которые более или менее заинтересованы в теме картографии. Но есть предположение, что на этом этапе отсеялись те, кто просто пришел познакомиться с продуктом, не стал дальше изучать его возможности и закрыл продукт. А те, кто действительно хотели создать карту для печати, перешли на второй шаг.

Что касается снижения в ноль, изначально была гипотеза, что люди, которые пришли с рекламного баннера, поэкспериментировали и ушли. Но здесь важно посмотреть на параметр удержания. Важным параметром был «Сохранить карту на Яндекс.Диск».

Это скриншот второго экрана, когда пользователь нарисовал карту и хочет выбрать ее тип. У него есть возможность нажать на кнопку «Сохранить на Яндекс.Диск» и получить печатную карту, которую он создал, и распечатать ее, например, в типографии.

График имеет такую же тенденцию – на третьей неделе он сходит к нулю.

Здесь мы видим, что активность существенно выше, чем у стандартной аудитории, но на третьей неделе опять нулевая активность. Теперь нужно посмотреть на еще один график. Этот график связан с активностью пользователей без деления на когорты внутри продукта.

Та аудитория, которая пришла с рекламного сообщения, впоследствии могла возвращаться в продукт. И этот график подтверждает, что она действительно возвращалась в продукт и делала операцию «Сохранить на Яндекс.Диск», чтобы напечатать карту. Но она возвращалась не обязательно по рекламной ссылке, она могла вернуться, например, набирая в поиске «конструктор карт Яндекса», сделав закладку, и т.д. На третьей неделе был потерян контакт по рекламной ссылке, и эта аудитория конвертировалась в постоянную.

Выводы

Если говорить о выводах, которые можно сделать из этого детального анализа, нужно отметить 4 момента:

Помните о том, что не все метрики одинаково полезны. Первый момент связан с тем, что не нужно бояться экспериментировать с метриками, с продуктовыми показателями. Смотрите на события, делите аудиторию по группам, отвечайте на те вопросы, которые у вас возникают. Потому что действительно важно понимать не просто тенденцию к росту или снижению аудитории в целом, но и причины этого роста или снижения.
Адаптируйте типовые воронки под цели и особенности вашего продукта. Не бойтесь адаптировать воронки под свой продукт. Есть стандартные воронки – про адаптацию, удержание, рекомендацию и прочее. Но все продукты абсолютно разные. Нельзя просто так взять и наложить продукт на уже существующую воронку. У каждого продукта есть свои особенности. Не бойтесь подгонять под эту воронку какие-то свои цели и стараться сделать по этой воронке выводы.
Делите аудиторию на когорты и наблюдайте за динамикой. Деление аудитории на когорты – это очень интересная практика. Она позволяет понять, как ведет себя аудитория в зависимости от того, в какой момент она присоединилась к продукту, что этому способствовало, что этому предшествовало.
Подводите итоги, учитывая полную картину – количество вложенных усилий и эффект. Четвертый и последний пункт – про картинку целиком. Яндекс разместил баннер на своем же сайте. Ему это стоило полчаса работы дизайнера, который нарисовал картинки. Если бы у команды Яндекс.Карт был большой рекламный бюджет и его бы потратили на то, чтобы разместить баннер на каком-то очень дорогом ресурсе, то, возможно, эти деньги были бы потрачены впустую.

Источник (видео): Карты и конверсия. — Татьяна Попова (Яндекс).

Магомед Чербижев

Давайте попробуем сравнить два автомобиля и узнать, какой из них лучше:

первый проехал 2 000 км, второй - 12 000 км;
первым автомобилем пользуются 5 раз в неделю, вторым - 4 раза;
первый автомобиль в последний месяц в среднем проезжал 10 км, второй - 20;
в данный конкретный момент первый автомобиль едет на скорости 100 км/ч, а второй автомобиль - на скорости 70км/ч.

Одним из наиболее эффективных инструментов продуктовой аналитики является когортный анализ . Именно о нем сегодня пойдет речь.

Почему метрики роста бессмысленны для аналитики продукта

стоимость привлечения пользователя составляет 1$;
средний доход с одного пользователя составляет 2$ в течение следующих 4 месяцев;
30% новых пользователей продолжают пользоваться продуктом спустя месяц (далее доля постепенно снижается до 15%);
команда продвижения привлечет 10 тыс. новых пользователей в первый месяц после запуска, 15 тыс. во второй, 20 тыс. в третий и так далее;
продакт-менеджер, который отвечает за развитие продукта, вносит в него изменения каждый месяц. Изменения неудачные, поэтому после каждого из изменений доход с пользователя падает на 0,1$, а доля пользователей, продолжающих использовать продукт падает на 2%.

Суть когортного анализа

Идея когортного анализа состоит в том, чтобы резделить пользоватей на группы по определенным признакам, и отслеживать поведение этих групп во времени

Ключевые метрики продукта - LTV и CAC

Декомпозиция LTV на метрики продукта

Я обычно отслеживаю путь пользователя в продукте с точки зрения его вовлеченности и монетизации.

Вовлеченность описывается следующими этапами в жизненном цикле пользователя:

активация в приложении
залипание в приложении (или активность использования)
долгосрочный retention (сколько пользователей продолжают использовать продукт спустя месяц, два месяца и так далее после регистрации)

Монетизация же описывается следующей последовательностью этапов жизненного цикла пользователя:

активация в приложении
увидел продающий экран
совершил 1 покупку
совершил 2 покупку

залипание в приложении (% пользователей, который дошли до N уровня или, например, добавили N друзей: число N определяется экспериментальным путем);
пользователь увидел предложение о покупке (% пользователей, которые увидели предложение о покупке);
пользователь совершил первую покупку (% покупающих что-либо в приложении, средняя сумма первой покупки);
пользователь совершил повторную покупку (% совершивших повторную покупку, средняя сумма повторной покупки, среднее количество повторных покупок);
retention (% пользователей, которые используют приложение спустя месяц/два/три/четыре после регистрации).

Метрики продукта и как они влияют на LTV

Рассмотрим описанные выше метрики продукта и то, как они влияют на LTV, на примере абстрактной игры.

Активация в приложении

Пользователь «залип» в приложении

Пользователь увидел предложение о покупке, сделал первую покупку

Повторные покупки

Retention

Построение продуктовой аналитики и пример использования когортного анализа

В заключении

Полученные значения метрик – это хорошо или плохо?
Над какой метрикой следует работать в следующей версии приложения в первую очередь?
Как приоритезировать гипотезы, придуманные для улучшения метрики?

Об этом в следующих материалах.

Сегодня поговорим про экономику продуктов и метрики. Посмотрел доклад одного из топовых людей в индустрии аналитики Ильи Красинского из «Экономика продуктов и метрики» с #productcamp .

Как сам о себе рассказывает Илья:

«В детстве был благовоспитанным мальчиком, но начал играть в компьютерные игры, связался с программирование, дизайном и покатился… Характер настойчивый.»

До осени 2013 продакт-менеджер и руководитель мобильной и декстоп разработки LinguaLeo.

6 лет был продуктовым дизайнером, работал над продуктами для Channel4, The Guardian, Forbes, Avis.

С середины 2013 по 2015 год находил точки кратного роста с 700+ продуктовыми командами: от бизнесов с 30 миллионами пользователей по всему миру, до небольших стартапов.

Ментор в акселлераторе ФРИИ, Yandex Tolstoy Camp.

Менеджер сообщества RADUG, 1800 продакт-менеджеров и маркетологов.

Модерирует и выступает на конференциях Apps4All, MDDAY и MBLT.

Начнём с того для чего необходима аналитика, сама по себе она не очень важна, важны выводы и управленческие решения. Цель считать поменьше, а выводов делать побольше.

Вот такая фраза про стартапы:

Примерный путь к успеху:

На втором графике также показана примерная схема принятия продуктовых решений в продуктовой команде.

Но до сих пор во многих компаниях множество решений принимается пальцем в небо.

Многие стартапы закрываются очень быстро, самые упорные закрываются через 3 года, обычно стартап закрывается через 3 месяца после того как у него закончатся деньги:

Почему так получается?

Очень много компаний выходят в интернет и спрос на продукт-менеджеров и аналитиков весьма большой и будет расти дальше.

В каких случаях легко предсказать будущее стартапа глядя только на скриншоты?

Рассмотрим следующий продукт:

Первое, что нас интересует это первая сессия (активация), обычно первую сессию вообще не считают, что очень не правильно, так как количество пользователей в первую сессию 100%. Нет ничего важнее первой сессии.

Вот воронка использования этого продукта:

В целом, воронка очень большая, две больших воронки: из офлайна в онлайн, из онлайна в мобилку.

Считаем необходимую конверсию:

Как Вы думаете реальна конверсия в 20% в прошлой воронке? Я думаю нет.

Часто воронки проектируют сначала, но их нужно проектировать с конца:

Однажды, Илья ехал в метро и перевёл деньги, как Вы думаете почему?

Потому что думать не надо, возможно у ребят получилось бы намного лучше, если бы они сначала подумали и упростили схему работы, договорившись с мобильными операторами, а не тратили деньги инвесторов на то, что не будет работать.

Посмотрим на проект Hot Wifi:

3 000 рублей стоит подключение к сервису кафе, посмотрим на расходы: 3000 рублей стоит сам роутер и 3 000 рублей премия менеджеру по продажам. И теперь вопрос сколько денег заработает компания, если сделает 100 продаж за месяц, ответ: минус 300 000 рублей. Это так называемый кассовый разрыв, он бывает управляемый и неуправляемый, компании с большим инвесторским плечом могут себе его позволить, но у стартапов не много денег и не многие могут его перенести.

Что сделали ребята, что пришли через 3 дня и сказали, что перевыполнили план по продажам на месяц?

Продавали свой сервис сразу на несколько месяцев. Деньги сразу лучше, чем деньги потом.

Что из этого получилось:

Чем больше было инвестирование, тем больше ошибок было допущено при построении начальной бизнес модели, маленькое изменение метрик может давать кратный результат.

У многих стартапов жизнь-боль, только потому что они сами себе это придумали.

При скидки 50% на покупку сразу на 3, 6 месяцев происходит падение дохода в 4 раза. Как так?

Очень часто малое изменение нужной метрики даёт кратный рост.

Обычно глядя на эту формулу, говорят «Ну всё, понятно».

Но это на самом деле простая формула, на уровне 5-го класса, которую обычно считают на салфетки во время переговоров.

Необходимо сравнить всего две цифры: сколько мы заработали с одного пользователя и сколько мы на него потратили:

ARPU — это сколько денег нам в среднем приносит 1 привлечённый клиент.
ARPPU — это сколько денег нам в среднем приносит 1 платящий клиент.

Как устроен продукт:

Таблица умножения для проектов:

Что сказано в этой таблице, любой низкий средний чек ведёт экономику к краху. При чеке в 1 000 рублей и конверсии в 1-2-3% начинается низкомаржинальная экономика. B2B находятся в правой части таблицы.

Экономику гораздо проще сводить если есть хорошие продуктовые методы.

А самый главный продуктовый метод это та ценность, которую мы приносим клиентам:

Чем выше ценность продукта, тем проще его продавать.

Как искать точки кратного роста, картинка времён работы Ильи в LinguaLeo:

Красные блоки — критические факторы, влияющие на достижение цели.

Обычно 80% времени команда продукта занимается тем, что вообще не как влияет на метрики, вспомним закон Парето.

Компании перед инвесторами необходимо было увеличиться в два раза.

Плечо метрики это когда малые колебания дают очень большой рост, чем оно больше тем лучше.

Как Вы определяете приоритеты:

Большая часть решений никак не повлияет, потому что воздействует на симптоматику, а не на корневые проблемы. Любую гипотезу можно примерно рассчитать.

Если роста нет 3 недели / 3 месяца, это значит, что Вы решали не корневую проблему, а симптоматику.

Что делать в таком случае, сделать шаг назад и искать новые вершины (точки кратного роста):

Чтобы закрепить материал, лучше посмотреть доклад «Экономика продуктов» — vimeo.com

По поводу метрик очень хорошо обращать и считать метрику C2 — конверсия во вторую покупку.

Считайте только важные метрики, и считайте не ради того чтобы у Вас были метрики, а для того чтобы принимать правильные продуктовые решения.