Дэн Олсен – MVP. Как выводить на рынок товары и услуги, которые нравятся покупателям (страница 24)

Например, планируя создание сайта, помогающего людям в поиске работы, вы могли бы запустить три рекламные кампании, каждую со своим слоганом: «Мы подберем вам работу вашей мечты», «У нас самая большая база вакансий в любой точке мира» и «Мы предлагаем самый быстрый способ поиска вакансий». Затем вы могли бы сравнить количественные показатели переходов по ссылкам всех трех рекламный кампаний и определить, какая из них оказалась наиболее эффективной.

Маркетинговое A/B тестирование

A/B-тестирование, также известное как сплит-тестирование, представляет собой количественный метод, при котором вы тестируете два альтернативных проекта одновременно, чтобы сравнить их эффективность по ключевому показателю, такому, например, как коэффициент конверсии. Вы можете использовать A/B-тестирование для проверки различных редакций маркетинговых материалов, чтобы понять, какая из них работает лучше. Например, провести тестирование двух разных версий целевой страницы – с различающимися описаниями продукта, ценами, изображениями, цветовыми или другими элементами дизайна, а затем сравнить их коэффициенты конверсии. Вы также можете применить A/B тесты для большинства других маркетинговых материалов, размещаемых в Интернете: рекламных объявлений, видеороликов и почтовых рассылок.

В тестах могут участвовать более двух альтернатив. Например, вы можете провести A/B/C-тест с тремя версиями материалов. Правила проведения A/B-теста предусматривают, что тестирование всех участвующих в нем версий проводится параллельно, в одно и то же время, в равных условиях. Например, 50 % трафика направляется на версию A и столько же – на версию B. Менее желательно тестировать версии последовательно (100 % трафика на версию A, затем 100 % трафика на версию B). Тестируя альтернативные варианты одновременно, вы избегаете риска, что имевшиеся в разное время различия во внешних факторах приведут к искажению полученных результатов.

Часто после проведения нескольких A/B-тестов, направленных на оптимизацию какого-либо аспекта продукта, определяется наиболее эффективный вариант, который получает звание «чемпиона». Далее вы можете проводить периодическое тестирование вновь появляющихся альтернатив, сравнивая их результаты уже не между собой, а с показателями чемпиона. Важным аспектом в этом случае является статистическая значимость, которая определяется разницей в значениях сравниваемых показателей и в размере выборки. Существуют формулы и онлайн-инструменты, которые позволяют рассчитать статистический уровень достоверности для конкретного теста. Однако важно знать, что статистическая значимость всегда выше при наличии существенных различий величины показателей и большого размера выборки. Если размер выборки слишком мал, вы не добьетесь статистически значимых результатов. Если у вас есть два варианта с очень похожими значениями сравниваемых показателей, может потребоваться очень большой размер выборки, чтобы заметить статистически значимую разницу между ними.

Список наиболее популярных инструментов для проведения A/B тестирования включает в себя следующие сервисы: Optimizely, Unbounce, KISSmetrics, Visual Website Optimizer и Google Content Experiments (входит в состав Google Analytics). Эти инструменты позволяют выбрать для тестирования несколько альтернативных версий продукта, а затем случайным образом распределить между ними пользовательский трафик. Функционал этих сервисов дает возможность отслеживать интересующие вас действия посетителей, рассчитать коэффициент конверсии и получить результаты для каждого из тестируемых вариантов с указанием уровня статистической достоверности.

Мультивариантное тестирование похоже на A/B-тестирование, но подразумевает проверку разных версий элементов веб-страницы, а не всей страницы целиком. В этом случае каждый тестируемый элемент страницы является переменной. Допустим, при разработке целевой страницы у вас возникло три разных идеи относительно заголовка и три разных идеи основного изображения. При применении мультивариантного теста будут опробованы все девять возможных комбинаций разных заголовков и изображений, чтобы определить, какая из них работает наиболее эффективно.

Краудфандинг

Краудфандинговые платформы, такие как Kickstarter и Indiegogo, могут стать отличным способом проверить, готовы ли потребители платить за ваш продукт, а также оценить этот спрос в количественном выражении. Названные платформы обеспечивают разработчикам, которые хотят производить и продавать свой продукт, возможность продвигать его и получать деньги от клиентов, желающих приобрести его сразу после выхода. Вы можете установить минимальный порог суммы собираемых средств, взяв на себя обязательство по созданию продукта только в том случае, если установленный порог будет превышен. Такой подход, при котором клиенты платят вам еще до того, как вы приступите к разработке, соответствует принципам бережливого производства, поскольку он устраняет неопределенность в отношении того, нужен ли ваш продукт потребителям.

Часы Pebble Watch – это одна из историй успеха, имевших место на платформе Kickstarter. Сначала основатель данного стартапа, Эрик Мигиковский, попытался привлечь финансирование со стороны венчурных компаний через инкубатор Y Combinator. Однако попытка оказалась безуспешной. Тогда он запустил кампанию по сбору средств на Kickstarter с первоначальной целью финансирования в размере 100000$. Подписчики получали право приобрести часы Pebble Watch по цене 115$ сразу после их выпуска, фактически получая за предзаказ скидку от полной цены в 150$. Проект собрал первоначально установленную сумму за два часа, и от желающих сделать взнос не было отбоя. В итоге Pebble прекратила сбор средств на Kickstarter после того, как более 68 тыс. человек внесли в фонд реализации этого проекта более 10 млн $.

Краудфандинговая платформа Kickstarter стала новым привлекательным каналом финансирования стартапов. Проект, предусматривающий производство гарнитур виртуальной реальности Oculus Rift, стартовал с установленной первоначальной целью сбора средств в размере 250000$ в августе 2012 года. За месяц было собрано чуть менее 2,5 млн $, что почти в 10 раз превышало целевую сумму. Менее чем через два года Facebook приобрела Oculus Rift за 2 млрд $.

Предприниматели, вынашивающие идею стартапа, могут использовать краудфандинг как способ снизить финансовые риски, прежде чем решиться на реализацию своего проекта. Краудфандинг особенно хорошо подходит для продажи потребительских товаров, поскольку он обеспечивает прямой канал для электронных продаж. Однако, поскольку реальный продукт, который потенциальные покупатели могли бы увидеть своими глазами, пощупать и опробовать, в данном случае отсутствует, существенно возрастает роль подробного описания как ценностного предложения, так и его преимуществ перед конкурентами. Поэтому многие стартапы снимают высококачественные видеоролики и создают обширные разделы с ответами на часто задаваемые вопросы о своем будущем продукте. Если вы решите воспользоваться краудфандингом для сбора средств, не стоит забывать о возможности донесения до потенциальных клиентов информации о вашем продукте и другими действенными способами, например в социальных сетях.

Сайты краудфандинговых платформ могут стать отличным способом установить контакт с первыми пользователями вашего продукта. Скорее всего, не составит особого труда вовлечь их в обсуждение имеющихся у них потребностей и предпочтений. Кроме того, они могут стать источником хороших идей по улучшению вашего продукта. Веб-страницы, посвященные краудфандинговым проектам, часто становятся активной точкой коммуникации между стартапом и его клиентами.

Качественные продуктовые MVP-тесты

Мы рассмотрели маркетинговые MVP-тесты, которые позволяют убедиться в том, что ваши сообщения находят отклик у потребителей, а также количественно оценить ожидания с помощью таких маркетинговых показателей, как коэффициент конверсии. В свою очередь, продуктовые тесты позволяют убедиться в том, что клиенты видят ценности вашего реального продукта. При разработке нового продукта, переработке дизайна или добавлении очередной функции качественные продуктовые тесты являются наиболее подходящим способом оценить и улучшить соответствие продукта рынку. Есть два принципиально различающихся момента для проведения качественного продуктового тестирования: до того, как вы представите свою разработку, и после появления самого продукта. И в том и в другом случае вы получаете полезные результаты.

Вы можете протестировать дизайн продукта на пользователях еще до начала разработки реально работающей версии. Обычно процесс разработки продукта включает в себя создание вайрфреймов, макетов и интерактивных прототипов – все это дает представление о вашем будущем «детище», не являясь при этом самим продуктом. Будет разумно протестировать предполагаемый дизайн до того, как вы приступите к непосредственному написанию программного кода для своего продукта, поскольку это позволит сократить объем отходов. Обычно вносить изменения в проекты получается намного быстрее и дешевле, чем корректировать уже написанный программный код. Тестируемые элементы дизайна могут различаться по степени точности, то есть по тому, насколько достоверно и близко они отражают реальный продукт. К этой теме мы вернемся чуть позже.