Проверять гипотезы нужно быстро. Как в новых продуктах, так и в растущих. Чем больше проверишь, тем больше узнаешь, большему научишься, повысишь вероятность успеха.
Для продукта ранней стадии, как у меня, катить один за одним A/B-тесты — недоступная роскошь. Тупо не хватит трафика. А проверять надо много и быстро.
Хочу поделиться своими принципами ускорения проверки гипотез, которые использую как в собственном проекте, так и в клиентских.
🔸 Проверять большие гипотезы
Немного математики.
Если конверсию в 10% вы хотите увеличить на 30%, то есть довести до 13%, вам понадобится 1629 пользователей в каждой группе теста. Если вариантов два, то нужно 3258 пользователей. Легко считается на калькуляторе.
У ранних продуктов стат значимость либо будет набираться месяцами, либо понадобятся дополнительные тысячи $ на трафик.
Поэтому проверять надо гипотезы, способные давать кратный рост конверсий.
Что это за гипотезы и где их взять? Все очень просто, то есть, сложно.
Кратный рост могут давать гипотезы, предполагающие радикальные изменения. Вместо переверстки блока с отзывами на лендинге сделать полностью новый лендинг с другой структурой, другим нарративом и копирайтами. Или вместо лендинга использовать чат-бот воронку. Или минимум инфы, форму сбора лидов и продажу через личное общение.
Изменения логики, смысла и структуры могут давать кратную разницу в конверсиях. Файн тюнинг элементов или шагов воронки не может практически никогда.
В таком подходе на первый план выходят способности быстро, дешево и на приемлемом уровне реализовывать новые решения.
Получается, что навыки delivery для быстрой проверки гипотез важнее, чем навыки discovery, которые так любят продакты.
🔸 Быть честным в оценке
Из первого принципа рождается второй. Велик соблазн накинуть пару десятков процентов мелкой гипотезе, чтобы потратить меньше усилий не запуск теста.
Постоянно приходится себя контролировать и напоминать, что чудес не бывает. Что лучше сделать больше сейчас и собрать валидные данные, чем потом переделывать.
Еще лучше работать в команде, чтобы иметь честное мнение со стороны.
🔸 Подглядывать
Да простят меня аналитики, которых я люблю и уважаю, но для стартапа проблема подглядывания — не проблема, а возможность.
На больших гипотезах разница как правило видна быстро и выводы можно сделать быстро. На средних все бывает сильно менее очевидно и нужно время для стат значимых результатов.
Если я вижу, что быстрого эффекта гипотеза не дала, то следую такому принципу:
— есть рост, держу тест;
— нет роста, сворачиваю.
В большинстве случаев потратить время на ложноположительный результат выгоднее, чем дать шанс ложноотрицательному.
Понятно, что этот принцип следует применять не всегда. Так как он анти-статистический по своей природе, существенную роль играет интуиция. Если вы очень верите в гипотезу, а она не дает быстрого роста, иногда можно подержать подольше.
🔸 Собирать обратную связь
Проверяйте простые изменения на людях.
Делать UX-тесты, показывать прототипы и макеты реальным пользователям или представителям аудитории. Можно знакомым, которые плюс-минус подходят по профилю, или, прости господи, чату GPT.
Важно соблюдать базовую гигиену: не спрашивать мнений, не задавать вопросов о будущем. Только показывать и просить комментировать.
Как результат, поможет спокойно, без тестов катить некритичные изменения, отсекая досадные ошибки, которые могут снижать конверсию.
Резюмирую:
— Генерируйте и проверяйте большие гипотезы, существенно меняющие пользовательский опыт;
— Оценивайте потенциальный результат честно: чем заметнее изменение, тем выше шанс на быстрый рост;
— Не держите каждый эксперимент до талого, это привилегия больших ребят с трафиком и качественной аналитикой, тормозите раньше, если нет положительного результата;
— Проверяйте изменения на людях или на худой конец на машинах, чтобы избежать непредсказуемых эффектов.
Дайте реакций, если пост понравился. А то я перестал реакции выпрашивать, и их все меньше становится.