Дэн Олсен – MVP. Как выводить на рынок товары и услуги, которые нравятся покупателям (страница 58)

Для эффективного применения непрерывного развертывания требуется надежная аналитическая система. Технические показатели, отслеживающие работоспособность и производительность сервера, необходимы для обеспечения стабильной работы системы, как и показатели, отслеживающие использование продукта. Система должна быть в состоянии определить, не мешает ли новое развертывание пользователям входить в нее или использовать какие-либо из ключевых функций. Кроме этого, необходимо, чтобы аналитическая система умела отслеживать в том числе и бизнес-метрики. Например, если у вас есть сайт электронной коммерции и количество размещаемых на нем заказов внезапно и резко сокращается после развертывания измененного программного кода, система должна запустить автоматический откат.

В этой главе было рассмотрено множество вопросов, связанных с разработкой продукта. Я поделился с вами советами, относящимися к этой области, и представил обзор нескольких важных концепций. Многим из затронутых здесь тем посвящены отдельные книги. Представленные лучшие практики – в области Agile-разработки, контроля качества и DevOps – позволили многим командам разработчиков повысить свой уровень мастерства и стать намного более эффективными. Общим для представленных идей является то, что все они помогают быстрее и с меньшими рисками создавать успешные продукты.

Сразу после запуска продукта вы сможете на практике ощутить всю ценность аналитики. Надежная аналитическая платформа поможет понять, как развивается ваш бизнес и как клиенты используют ваш продукт. Анализ динамики отслеживаемых показателей во времени и по мере внедрения различных изменений снабдит вас ценной информацией, которая поможет добиться существенных улучшений. В следующих двух главах рассказывается о том, как использовать аналитику для оптимизации вашего продукта и бизнеса.

Глава 13

Измерение ключевых показателей

Методы исследования, доступные при создании первой версии нового продукта, отличаются до и после его запуска. Поскольку, до того как продукт будет выпущен на рынок, в вашем распоряжении еще нет клиентской базы, вы в большей степени полагаетесь на качественные исследования, проводимые с участием потенциальных пользователей, и на полученные от них отзывы. Конечно, вы можете продолжать проводить подобные интервью и после запуска, но при наличии реально работающего продукта и базы пользователей ваши исследовательские возможности существенно расширяются. Теперь вы можете воспользоваться еще и количественными методами сбора информации, а именно аналитикой и A/B-тестированием. В этой главе объясняется, как использовать аналитику для моделирования и расчета показателей, характеризующих продукт и бизнес в целом. Следующая глава на основе информации, представленной в данном разделе, описывает структурированный процесс использования аналитики для улучшения продукта, а также включает в себя сквозное практическое исследование.

Аналитика в сравнении с другими методами исследования

Прежде чем погрузиться в описание аналитических методов, я хочу поделиться с вами полезным фреймворком, созданным моим коллегой Кристианом Рорером, успешным специалистом в области UX-дизайна и исследования потребителей. Он позволяет классифицировать различные способы обучения путем проведения пользовательских исследований. На Рисунке 13.1 показана упрощенная версия фреймворка Рорера. Вертикальная ось – тип информации, которую вы собираете. Она может быть отношенческой или поведенческой. Отношенческая (аттитюдная) информация – это то, что клиенты говорят о своих установках и мнениях. Допустим, вы показываете клиенту макет целевой страницы. Он говорит, что ему нравится зеленая цветовая гамма и что он, скорее всего, нажмет на расположенную на этой странице большую кнопку «Купить». Оба эти утверждения передают отношенческую информацию.

Напротив, поведенческая информация передает то, как клиенты поступают на самом деле. На основе все той же целевой страницы вы можете провести индивидуальные пользовательские тесты и посмотреть, какие клиенты нажимают на кнопку «Купить». Вы также можете использовать аналитические инструменты, чтобы узнать, какой процент пользователей, посещающих целевую страницу, нажимает на эту кнопку. В каждом из этих случаев вы получите поведенческую информацию.

Рисунок 13.1. Структура методов исследования

По горизонтальной оси на Рисунке 13.1 показан подход к сбору информации, который может быть либо качественным, либо количественным. Допустим, вы проводите индивидуальные интервью с 10 потенциальными клиентами, пытаясь понять их потребности и предпочтения. Или же вы наблюдаете, как клиент пользуется вашим сайтом. И в том, и в другом случае вы проводите качественное тестирование, то есть исследование, основанное на непосредственном взаимодействии с пользователями.

При количественном подходе вы собираете информацию, полученную от большого числа клиентов. В этом случае вы уже не наблюдаете за каждым из них, а агрегируете статистические результаты всей группы. Допустим, вы отслеживаете коэффициент конверсии, отслеживая срабатывания кнопки «Купить» на целевой веб-странице, чтобы узнать, какой процент посетителей на нее нажимает, или рассылаете опросник тысячам пользователей по электронной почте, чтобы выяснить их потребности и предпочтения. В обоих случаях вы проводите сбор количественных данных.

Опра против Спока

Как качественное, так и количественное исследования важны и фактически дополняют друг друга. Количественное исследование может сказать вам, сколько потребителей делают (или не делают) что-либо. Но оно не ответит вам на вопрос, почему они это делают (или не делают). Разобраться в глубинных причинах потребительского поведения может помочь качественное исследование. Однако оно не скажет вам, сколько людей делают то, что они делают, по каждой из выявленных причин. Маркетинговые исследования очень часто начинаются с качественного исследования, чтобы понять, какие вопросы стоит задавать и какие ответы на них можно получить (выяснение «почему?»). Вооружившись этой информацией, вы затем переходите к количественному исследованию, чтобы выяснить, какое количество или какой процент клиентов дают тот или иной ответ (выяснение «сколько?»).

Я использую для сравнения качественного и количественного подходов к исследованию потребителей выражение: «Опра против Спока». Популярная телеведущая Опра [Уинфри, – прим. пер.] является олицетворением качественного подхода; она общается со своими гостями один на один и проводит долгие, углубленные интервью, в ходе которых узнает о своих собеседниках много нового и получает их мнения по разным вопросам. С другой стороны, Спок – очень логично мыслящий персонаж сериала «Звездный путь» – ориентирован исключительно на количественные метрики; он основывает все свои решения строго на объективных данных и цифрах. Когда вы пытаетесь понять, насколько первая версия вашего продукта соответствует требованиям рынка, вам должен быть более близок подход Опры. Затем, после выхода продукта на рынок, вы все еще можете продолжать использовать качественный подход, но в интересах дальнейшей оптимизации будет полезно применить и метода Спока.

Интервью с пользователями

Каждый из четырех квадрантов на Рис. 13.1 представляет собой отдельный тип исследования. Интервью с пользователями относятся к нижнему левому квадранту – качественные исследования в целях получения отношенческой информации. В ходе таких интервью вы пытаетесь понять потребности и предпочтения пользователей. Вы хотите определить, как они относятся к проблеме и соответствующему контексту. При этом вы не пытаетесь наблюдать за их поведением. Вы задаете открытые вопросы, но в основном пытаетесь уловить их мысли и чувства. Подробные рекомендации о том, как проводить эффективные собеседования с потребителями, представлены в главе 9.

Тестирование юзабилити

Тестирование юзабилити относится к левому верхнему квадранту, указывающему на качественный и поведенческий характер данного вида исследования. Как и интервью с пользователями, тестирование юзабилити является качественным поскольку в ходе его проведения вы обращаете внимание на то, что говорит каждый пользователь. Однако тестирование юзабилити больше связано с поведением потребителей. Вместо того чтобы спрашивать пользователя, предпримет ли он определенное действие при использовании продукта, вы намерены увидеть, что именно он сделает (или не сделает). Основная цель состоит в получении знаний о потребительском поведении путем наблюдения за тем, как клиент использует прототип или продукт. Стоит отметить, что не менее ценную информацию может дать и проведение юзабилити-тестирования продуктов конкурентов.

Даже если основное внимание уделяется удобству использования продукта, в большинстве случаев результаты пользовательского тестирования состоят из смеси поведенческой и отношенческой информации. Коротко повторю то, что подробно обсуждалось в главе 9: важно четко представлять себе, какого рода информацию вы хотите получить от пользователя в ходе тестирования и какого рода сведения он вам предоставляет на самом деле.

Опросы

Опросы относятся к нижнему правому квадранту, что говорит об их направленности на количественное исследование отношенческих показателей. Количественный характер данного метода отражает его цель – получить информацию от большого числа пользователей, чтобы выделить общие признаки. Получаемая при этом информация относится к отношенческой, поскольку пользователи в ходе опроса делятся своим мнением; в этом случае вы не собираете данные об их поведении при использовании продукта.