Дэн Олсен – MVP. Как выводить на рынок товары и услуги, которые нравятся покупателям (страница 59)

Ранее я уделил опросам гораздо меньше внимания, чем другим типам пользовательских исследований. Это объясняется в первую очередь тем, что я слишком часто сталкивался с примерами злоупотребления данным методом. Хорошо спланированный опрос может принести полезные сведения. Но при этом необходимо четко осознавать, для чего именно вы можете их использовать, и не выходить за очерченные границы. Если вы попросите 1000 человек оценить по шкале от 1 до 10, насколько вероятно, что они воспользуются новым, простым в использовании приложением для обмена фотографиями, которое вы планируете создать, это будет злоупотреблением. Почему? Во-первых, они почти ничего не знают о вашем продукте. Предложенное вами описание: «новое, простое в использовании приложение для обмена фотографиями» содержит всего восемь слов информации. Это не живой продукт, не набор кликабельных вайрфреймов и даже не макет, поэтому у опрашиваемых людей не так много данных, на которые они могли бы опереться, чтобы сформировать объективное суждение. Как в таком случае они могут с точностью предсказать, будут ли они пользоваться вашим приложением или нет? Раз за разом я наблюдаю, как создатели опросов просят респондентов высказать свое мнение о том, о чем у них нет достаточно полного представления.

Во-вторых, поскольку опросы направлены на получение отношенческой информации, вы должны воспринимать полученные результаты соответствующим образом. Люди могут давать положительные или отрицательные ответы на вопрос о том, насколько вероятно, что они будут использовать новый продукт; но эти ответы часто не совпадают с реальным поведением. Я бы предпочел этому проведение «Дымового теста» с использованием целевой страницы, на которой разместил бы кнопку «Купить», или попросил людей указать свой адрес электронной почты для включения в список ожидания бета-тестирования. Затем я бы отследил значение показателя конверсии. Собранные таким образом поведенческие данные дали бы более точный ответ по сравнению с результатами, полученными в ходе опроса.

В-третьих, результаты опроса могут быть очень чувствительны к конкретной формулировке вопроса и предложенным респонденту вариантам ответа. Если предполагается, что данные опроса будут использованы для принятия каких-то важных решений, становится страшно подумать, что в зависимости от того, как задан вопрос, можно получить совершенно разные ответы. Если вы не можете отличить качественную подготовку опроса от некачественной, вы можете подставить себя под удар. Просто, прежде чем воспользоваться данным инструментом, необходимо убедиться в том, что опрос – это именно тот способ сбора информации, который наилучшим образом подходит к вашему случаю. Кроме этого, вы должны иметь хорошие навыки разработки опросов (или найти того, кто обладает соответствующими компетенциями).

Итак, если опросы не годятся для получения ответов на определенные виды вопросов, то для чего же они тогда подходят? Они хорошо работают в тех случаях, когда вы хотите узнать мнение респондентов в отношении хорошо известной им темы. Например, в главе 4 обсуждалась возможность использования опросов при измерении показателей важности и удовлетворенности. Опросы могут помочь понять, как люди относятся к вашему продукту и бренду. Вы также можете использовать этот инструмент, чтобы увидеть, как клиенты воспринимают ваш продукт в сравнении с его рыночными аналогами. Отслеживающие опросы, когда респондентам задаются одни и те же вопросы через определенные промежутки времени, могут быть полезны для выявления трендов.

Чистая оценка промоутера

Одним из наиболее широко используемых опросных показателей является чистая оценка промоутера («индекс лояльности», – прим. пер.), или сокращенно – NPS. Этот показатель основан на ответах респондентов всего на один вопрос: «Какова вероятность того, что вы порекомендуете [продукт X] другу или коллеге?» Шкала оценки «вероятности рекомендации» имеет диапазон от 0 до 10, где 10 означает «весьма вероятно», а 0 – «очень маловероятно». Респондентов, дающих оценку в 9 или 10 баллов, называют промоутерами; тех, кто ставит 7 или 8 баллов, – пассивными; а тех, кто оценивает такую вероятность от 0 до 6 баллов, – недоброжелателями. Чтобы рассчитать значение NPS, нужно из процента промоутеров вычесть процент недоброжелателей.

Значение показателя NPS может варьироваться в диапазоне от -100 до 100. По своему смыслу NPS является показателем отношения потребителей к продукту и косвенным показателем его соответствия рынку. Пользователи будут рекомендовать только тот продукт, которым они очень довольны. Среднее значение NPS, полученное по результатам одного раунда опроса имеет определенный смысл, но основную ценность представляет отслеживание динамики NPS продукта с течением времени по результатам периодически повторяемых опросов. По мере того как вы вносите в свой продукт улучшения, повышая тем самым степень его соответствия рынку, показатель NPS должен увеличиваться. Конечно, при возникновении проблем данный показатель может снижаться. Как измеритель общего настроения клиентов, он может свидетельствовать о наличии проблем в широком спектре областей, выходящих за рамки непосредственно продукта, включая качество обслуживания или технической поддержки. По этой причине важно включить в состав опроса открытый вопрос о том, почему респондент выставляет ту или иную оценку. Кроме этого, бывает полезным сравнение показателя NPS своего продукта с аналогичной метрикой конкурентов и ее эталонным значением для соответствующей продуктовой категории.

Вопрос Шона Эллиса о соответствии продукта рынку

Шон Эллис – талантливый маркетолог и практик бережливого стартапа – человек, который придумал термин «хакер роста» и управляет сайтом сообщества http://growthhackers.com. Эллис также является генеральным директором компании Qualaroo, занимающейся анализом потребностей клиентов http://qualaroo.com. Многие компании обязаны ему активным ростом числа своих клиентов.

Эллис, как и я, считает, что не следует вкладывать средства в развитие бизнеса до тех пор, пока выпускаемый продукт не добьется соответствия рынку. Для оценки степени соответствия он предлагает использовать опросы, в ходе которых вы должны спросить пользователей продукта: «Как бы вы себя чувствовали, если бы больше не могли пользоваться [продуктом X]?» Респондентам предлагается четыре возможных варианта ответа:

• Весьма разочарован.

• Немного разочарован.

• Не разочарован (без него вполне можно обойтись).

• Нет ответа – Я больше не пользуюсь [продуктом X].

Проведя такой опрос в отношении множества продуктов, Эллис эмпирическим путем обнаружил, что продукты, утратой которых будут «весьма разочарованы» 40 или более процентов пользователей, как правило, соответствуют требованиям рынка. Это пороговое значение может немного варьироваться в зависимости от категории продукта, но является достаточно точным для формулировки эмпирического правила. Чтобы собрать объективные данные Эллис рекомендует отправлять данный опрос случайной выборке клиентов, которые пользовались вашим продуктом по крайней мере дважды, в том числе, в последнее время. Вопрос должен сопровождаться открытой просьбой: «Пожалуйста, помогите нам понять, почему вы выбрали именно такой вариант ответа», – как я рекомендовал выше для NPS.

Аналитика и A/B-тестирование

Верхний правый квадрант на Рисунке 13.1 соответствует исследованию, имеющему количественный и поведенческий характер. Именно здесь применяются аналитика и A/B-тестирование. Аналитика позволяет получить измеримую оценку реального поведения клиентов, поэтому в этом случае вам не приходится беспокоиться о каком-либо несоответствии между словами и реальными действиями клиентов. Кроме того, в отличие от качественных исследований поведения пользователей, аналитика агрегирует поведение большого числа клиентов, тем самым позволяя делать статистически значимые выводы.

Для примера, допустим, что у вас есть целевая страница. Анализ показывает, что коэффициент конверсии составляет всего 5 %, что намного ниже ожидаемых вами значений. По этой причине вы разрабатываете новую, улучшенную версию целевой страницы. Вы проводите юзабилити-тесты и просите пользователей дать обратную связь в отношении новой страницы. Отзывы оказываются в целом положительными; 9 из 10 пользователей указали, что они бы нажали кнопку «Зарегистрироваться». Вы решаете запустить страницу. До того как вы это сделаете, вы на самом деле не можете реально оценить влияние ее нового дизайна. Реальный коэффициент конверсии вряд ли составит 90 %. Это значение искусственно завышено из-за особенностей модерируемого юзабилити-тестирования. Да, можно ожидать, что коэффициент конверсии повысится, но, насколько серьезным будет это повышение, невозможно определить, основываясь только на результатах юзабилити-теста.

A/B-тестирование позволяет отправить одну часть пользовательского трафика на новую версию целевой страницы, а другую – на старую версию, отслеживая при этом результаты каждого из вариантов. Таким образом, вы сможете узнать, насколько велика разница в значениях коэффициента конверсии. Если объем пользовательского трафика достаточно велик, степень достоверности такого количественного сравнения будет приемлемо высокой.