О проекте и задачах
Проект — команда Яндекс Такси, которая работает над ростом маркетинговой эффективности веб-проектов Такси Про в сфере найма.
Основные задачи команды:
- Увеличить количество визитов на сайт и повысить вовлеченность пользователей
- Увеличить количество конверсий — скачиваний приложения, заявок с сайта, регистраций в личном кабинете и его использование.
Как команда генерирует гипотезы
Для роста ключевых метрик специалисты строят гипотезы о том, что и как может увеличить показатели, и быстро их тестируют. Они проверяют, какие гипотезы действительно влияют на ключевые метрики, а какие не работают.
Изначально процесс генерации гипотез строился только на брейншторме. Но так как этот метод недостаточно точный, решили дополнительно использовать данные о поведении пользователей.
Команда стала создавать гипотезы двумя способами: с помощью брейншторма (70%) и анализа поведения пользователей (30%). Распределение 70/30 — не правило, а подходящее для конкретной команды сочетание. Рассмотрим плюсы и минусы каждого способа:
Брейншторм (70%)
➕ Высокая скорость. Можно за короткое время сгенерировать много идей.
➕ Не нужна техническая экспертиза в продукте, участвует вся команда (включая дизайнеров, верстальщиков и поддержку).
➖ Когнитивные искажения. Команда может столкнуться с «Ложным консенсусом» — когда у специалистов, знающих продукт, есть определенное видение пути пользователя, которое может оказаться неверным. Каждый человек действует по-разному, и точно предугадать его поведение трудно.
Анализ поведенческих факторов (30%)
➕ Основан на реальных данных. Они помогают понять поведение пользователя и его интересы, а также показывают, на что стоит обратить внимание.
➕ Имеет высокую скорость проверки гипотез. Стандартизированный процесс обработки данных поведенческого пути с помощью Метрики, Вебмастера и других аналитических инструментов.
➖ Требует экспертизы и времени, чтобы собрать данные и их интерпретировать. Поэтому для генерации гипотез команда, кроме этого способа, использовала и брейншторм.
При анализе поведенческих факторов смотрели на ключевые показатели: среднюю позицию в Поиске и CTR — они напрямую влияют на ключевые цели. Также анализировали источники трафика, на какие элементы интерфейса пользователь обращал внимание и по каким ссылкам переходил. Изучали данные с учетом и без учета фактора сезонности.
Какие методы приоритезации и оценки гипотез использовали
После генерации гипотез необходимо было их оценить и приоритезировать. Для этого использовали методы RICE и ICE Score.
ICE не учитывает охват аудитории и дает широкие возможности для тестирования. Например, можно поменять цвет кнопки или попробовать новый дизайн проекта. Используется только при запуске продукта или фичи, у которых мало пользователей.
RICE более сбалансирован и позволяет минимизировать когнитивные искажения. После анализа влияния, уверенности и трудозатрат, каждая гипотеза получает общую оценку — это помогает определить, какие фичи тестировать сразу, а какие положить в бэклог. Используется для работающих проектов, у которых уже есть пользователи.
Методы RICE и ICE показали высокую скорость и эффективность приоритезации для ранжирования гипотез любой сложности.
Как построили процесс А/В-тестирования с помощью Varioqub
Изначально хотели стандартизировать процесс и прийти к универсальной формуле 70% — брейншторм и 30% — анализ поведения пользователей. Но так как команда постоянно развивается, поняли, что формула не может быть одинаково эффективна для всех проектов. Проанализировали весь прошлый опыт и разработали для себя такую схему работы:
- Структурировали процесс, объединив этап создания гипотез в одну встречу на 2 часа. Придумывали идеи не в одиночку и заранее, а вместе и в процессе встречи — получилось в среднем 15 гипотез.
- Приоритезировали получившиеся гипотезы чаще всего по методу RICE. В результате осталось около 4 эффективных гипотезы, которые должны были положительно повлиять на результат — трафик и другие основные показатели.
- Внедрили Varioqub, чтобы сократить время от идеи до запуска решения и ресурсы на реализацию изменений. Теперь любой член команды может создать А/В-тест и оценить результаты эксперимента без привлечения аналитика. После достижения статистической значимости Varioqub выделяет цветом приоритетный для реализации вариант.
Сравнили старый процесс до преобразования и новый:
Пример эксперимента и его результат
Анализ поведенческих факторов с помощью тепловой карты кликов показал, что 20% пользователей нажимают на текст «Оставьте заявку», в котором нет ссылки.
Гипотеза
Если сделать ссылку кликабельной, увеличится количество конверсий из визита в заявку.
Решение
- В Varioqub с помощью визуального редактора добавили ссылку «Оставьте заявку», которая ведет на форму.
- Запустили А/В-эксперимент: одной половине аудитории показывали некликабельный вариант, а другой — вариант со ссылкой в тексте.
Результат
На 4,5% выросло количество конверсий из визита в заявку в тестируемом варианте.
3 лайфхака для повышения эффективности гипотез
Собирайте базу знаний по А/В-тестам
Исторические данные и опыт помогут при запуске новых проектов со схожей тематикой. Varioqub хранит статистику в детализированном виде — это позволяет не тестировать повторно похожие гипотезы.
Придумывайте гипотезы, опираясь на внутренние и внешние данные
Не используйте только брейншторм. Важно понимать, как реально ведет себя пользователь — на что обращает внимание и на каком этапе могут возникнуть трудности. Это поможет понять, как помочь ему совершить целевое действие.
Оптимизируйте процесс
Важна скорость реализации и принятия решений, поэтому оптимизируйте процесс генерации гипотез, их оценки и реализации. Используйте все возможности Varioqub в связке с Метрикой — это сэкономит время.