Игорь Копырин – Цена метрики (страница 11)

Какой показатель и какое значение означают успех?

Определить объём теста

Сколько трафика / клиентов необходимо для вывода?

Установить срок проверки

Когда принимается решение?

Зафиксировать ожидаемый результат

Что произойдёт при подтверждении гипотезы?

Антон добавил:

– Если нет пункта два, тест запрещён.

Сергей раздражённо выдохнул:

– Почему так жёстко?

Антон:

– Потому что иначе ты всегда сможешь сказать: «почти получилось».

Метрика главы

Порог успеха.

Без цифры нет решения.

Trigger

Есть данные исследования.

Stop Rule

Нет критерия успеха – тест запрещён.

Сергей посмотрел на свой блокнот.

Он переписал гипотезу.

Было:

«Если усилим акцент на скорости, конверсия вырастет.»

Стало:

«Если усилим акцент на скорости, конверсия вырастет с 3% до минимум 4,5% в течение 14 дней при объёме 1000 переходов.»

Алина кивнула.

– Теперь это гипотеза.

Антон спокойно добавил:

– И теперь её можно убить.

Сергей поднял глаза:

– Убить?

– Да. Если не достигнет 4,5%, мы возвращаемся к формулировке.

Это было неприятно.

Гипотеза перестала быть красивой идеей.

Она стала проверяемым объектом.

Перелом

Сергей впервые понял:

Порог – это не формальность.

Порог – это точка, где заканчивается иллюзия.

Трансформация

Он перестал формулировать идеи.

Он начал формулировать измеримые утверждения.

Изменение системы

Теперь каждый тест:

имел порог

имел срок

имел объём

И самое неприятное – имел право быть закрытым.

Принцип главы

Нет порога – нет теста.