Дэн Олсен – MVP. Как выводить на рынок товары и услуги, которые нравятся покупателям (страница 66)

Рисунок 14.1. Процесс анализа бережливого продукта

Как только у вас появятся точные базовые значения для каждой из ключевых метрик, можно будет перейти к следующему шагу: оценке потенциала роста каждого отслеживаемого показателя. На этом этапе вы оцениваете каждый показатель через призму рентабельности инвестиций (ROI). Я считаю полезным представлять диапазон значений каждого показателя в виде шкалы со стрелкой, подобной той, что вы можете наблюдать на приборной панели автомобиля или на манометре. Цифры, на которые в данный момент указывает стрелка, являются базовым значением для наблюдаемой метрики. Теперь вам нужно оценить, насколько легко или сложно будет сдвинуть стрелку вправо, то есть улучшить каждый показатель. Для этой цели используется кривая рентабельности инвестиций, и на этом шаге мы хотим получить хотя бы примерное представление о том, в каком месте на этой кривой находится исследуемый показатель в настоящий момент времени.

На Рисунке 14.2 показаны кривые рентабельности инвестиций для трех различных метрик. По вертикальной оси каждого графика отложены значения самой метрики (где чем выше, тем лучше). Зная особенности своего бизнеса и существующие взаимосвязи между его ключевыми показателями, вы имеете представление о том, в какой степени увеличение значения каждой метрики приводит к улучшению показателя более высокого уровня, который вы, в конечном счете, пытаетесь повысить за счет вложения соответствующих ресурсов (например, это может быть показатель объема выручки). Горизонтальная ось показывает объем инвестиций (ресурсов), направляемых на улучшение отслеживаемого показателя. Кружком обозначено текущее базовое значение метрики, то есть в каком месте на кривой рентабельности инвестиций каждый показатель находится в данный момент.

Рисунок 14.2. Кривые рентабельности инвестиций для трех различных метрик

Текущее значение метрики A находится в нижней части кривой рентабельности инвестиций, где подъем линии является достаточно крутым. Это означает, что вы можете значительно улучшить значение данного показателя, совершив относительно небольшие вложения. Такая ситуация обычно возникает в том случае, когда вы еще не работали над улучшением метрики. В свою очередь, показатель B находится вблизи вершины своей кривой рентабельности инвестиций, там, где наклон линии в значительной степени выровнен. Таким образом, даже при значительных инвестициях, вы сможете улучшить данный показатель лишь в небольшой степени. Такая ситуация характерна для случаев, когда на улучшение метрики уже потрачено много ресурсов.

Кривая рентабельности в том виде, как она показана для метрик A и B, является типичной для большинства показателей. Однако в некоторых обстоятельствах даже небольшие затраты ресурсов на улучшение показателя могут привести к его значительному росту. Я называю такие ситуации эффектом «волшебной пилюли». В таких случаях кривая рентабельности инвестиций будет выглядеть иначе – примерно так, как показано на Рисунке 14.2 для метрики C. Это особые случаи, при которых небольшое, но влиятельное изменение может привести к тому, что какой-то аспект продукта или бизнеса станет работать гораздо лучше, чем это было до вашего вмешательства. Обычно такие возможности обнаруживаются в результате тщательного анализа.

Как только вы оценили потенциал роста каждого показателя, можно переходить к следующему этапу процесса: выбору показателя, который предлагает наиболее многообещающие возможности для улучшения. Это и будет та самая «Наиболее значимая метрика» (НЗМ), которая обсуждалась в предыдущей главе. Если вспомнить Рисунок 14.1, то можно сказать, что вы сейчас осуществляете переход от глобального рассмотрения полного набора метрик к сосредоточению всех усилий только на главной из них.

Далее, в ходе проведения «мозгового штурма» вам необходимо сгенерировать как можно больше идей по улучшению своей наиболее значимой метрики. Затем предстоит оценить, насколько реализация каждой из сгенерированных идей способна улучшить эту НЗМ. В процессе вы формируете гипотезы, такие как «Оптимизация мобильной версии страницы регистрации повысит коэффициент конверсии с 20 до 30 %». Кроме этого, вам необходимо оценить стоимость реализации каждой идеи, чтобы рассчитать значение рентабельности инвестиций – ROI (как обсуждалось в главе 6). Проделав эту работу, вы сможете выбрать для реализации идею с наилучшей оценкой рентабельности инвестиций.

Далее вы разрабатываете и внедряете выбранную идею улучшения главной метрики. Наилучшим вариантом было бы использовать при этом платформу A/B-тестирования, чтобы опробовать улучшение на небольшой части пользователей. Это позволяет получить сравнимые значения метрики для оценки относительной эффективности сделанного улучшения в сравнении с базовым показателем. Если у вас нет платформы для проведения A/B-тестирования, и при этом метрика, которую вы пытаетесь улучшить, имеет относительно стабильное значение, вы можете после реализации идеи улучшения провести простое сравнение показателей «до» и «после». Однако я настаиваю, что применение A/B-тестирования является более предпочтительным вариантом, поскольку оно снижает риск влияния неизвестных факторов, приводящих к возникновению разницы в полученных результатах.

Конечно, на протяжении всего процесса вы надеетесь улучшить целевой показатель. Однако, даже если этого в итоге не происходит, вы все равно добьетесь прогресса, поскольку получите ценный опыт, который сможете применить для создания более совершенных гипотез на последующих итерациях. Теперь вы пересматриваете свой список идей по улучшению метрики и выбираете следующую лучшую идею (занявшую изначально второе место при оценке рентабельности инвестиций). Затем вы повторяете весь цикл, показанный в правой части Рисунка 14.1.

В конце концов, после опробования нескольких идей вы должны, наконец, увидеть действительное улучшение целевого показателя. В ходе таких повторений цикла рентабельность проверяемых идей будет постепенно снижаться. Это может привести к тому, что в какой-то момент обнаружится, что лучшие возможности для улучшения представляет уже другая метрика.

В этом случае, как показано на Рисунке 14.1, вы должны вернуться с уровня Метрики на Глобальный уровень, проанализировать показатели и определить новую НЗМ для ее улучшения. После этого вы снова применяете описанный выше цикл итеративного улучшения, но уже к этой метрике.

Повторные выполнения данного процесса позволяют осуществлять систематическое улучшение бизнеса. Наличие продвинутой аналитической платформы и набора информационных панелей обеспечивает отслеживание прогресса в этом направлении. Использование платформы для A/B-тестирования помогает проводить регулярные эксперименты, чтобы увидеть, смогут ли новые идеи обеспечить более высокий результат по сравнению с тем, что уже находится в реализации. Как только в вашем распоряжении окажутся все критически важные элементы – аналитическая платформа, информационные панели, платформа A/B-тестирования – и будет запущен процесс непрерывного совершенствования, ограничивающим фактором останется лишь то, насколько быстро вы сможете выявлять и внедрять лучшие креативные идеи для своего продукта и бизнеса.

Решение проблемы локального максимума

На этом этапе возникает опасность застрять на локальном максимуме. В какой-то момент в процессе улучшения метрики у вас может возникнуть ощущение, что дальнейшее продвижение невозможно. Иногда это действительно так; вы настолько хорошо потрудились над совершенствованием своего продукта, что в отношении целевого показателя достигли максимума возможного. Однако в некоторых случаях вы просто застреваете на локальном максимуме, хотя на самом деле могли достичь большего, если бы рассмотрели возможность применения совершенно иного подхода.

Например, если у вас есть целевая страница, вы могли бы провести A/B-тестирование разных вариантов цветов для главной кнопки, чтобы определить, какой из них дает наибольший коэффициент конверсии. Разработчик Google протестировал 41 оттенок синего цвета для своей панели инструментов, чтобы понять, какой из них обеспечивает наилучший коэффициент кликабельности. Однако, если вы прекратите итерации после того, как подберете наилучший цвет для своей главной кнопки, вы, вероятно, застрянете на локальном максимуме. Таким же образом необходимо поэкспериментировать с различными вариантами сообщений, изображений, макетов страниц и так далее, чтобы посмотреть, сможете ли вы добиться еще более высокого коэффициента конверсии. Скорость улучшения напрямую зависит от того, насколько быстро вы сможете выявить и реализовать хорошие идеи. A/B-тестирование упрощает проведение экспериментов, но определить гипотезы для проверки должны вы сами. Чтобы не застрять на локальном максимуме, вы должны быть уверены, что используете все имеющиеся возможности для поиска потенциальных идей, направленных на улучшение вашего продукта.

Анализ бережливого продукта на примере Friendster

В качестве иллюстрации процесса анализа бережливого продукта и методического руководства по его реальному воплощению я приведу подробный пример того, как он был успешно применен на практике. Пример связан с уже упоминавшимся приложением Friendster, работая над улучшением которого, мне удалось более чем удвоить ключевой показатель всего за одну неделю.