О проекте и задачах
ВкусВилл — бренд полезных продуктов для здорового питания, сеть магазинов и сервис бесплатной доставки. Представлен более 1500 магазинами в 150+ городах России, доставляет продукты онлайн через сайт и мобильное приложение.
Команда, которая работает с Varioqub, занимается развитием веб-сайта магазина с помощью оптимизации ecommerce-метрик. Задача команды — увеличить конверсию посетителей в покупку товаров на сайте. Для этого используют data-driven подход и А/B-эксперименты — это оптимальный способ развития магазина и проверки гипотез независимо от сезонности.
Как устроен процесс А/B-тестирования в команде
Генерация гипотез
На регулярной встрече команда:
- Выбирает метрику, которую нужно прокачать, например: добавление товара в корзину из карточки с мобильной версии сайта, добавление товара в корзину из раздела «Акции».
- С помощью брейншторма придумывает гипотезы, которые могут повлиять на изменение выбранной метрики.
- Ранжирует гипотезы по методу RICE и определяет, какие из них можно реализовать на сайте.
Как проводили А/B-тесты раньше
До появления Varioqub для проведения экспериментов использовали кастомные отчёты в Метрике. Параметры визитов передавали через Метрику по API и с помощью JavaScript-кода на бэкенде пользователей делили на группы А и B.
Этот метод затрачивал много ресурсов на разработку и интерпретацию результатов и не учитывал статистической значимости. Появление Varioqub сильно облегчило процесс — он сам репрезентативно делит группы пользователей и предоставляет удобный отчёт с результатами, не нужно под каждый тест заново создавать кастомный отчёт и вручную считать результаты.
Результат после внедрения Varioqub
Примеры экспериментов
Выбрали тип экспериментов с флагами, поскольку они дают максимальную гибкость при настройке. Проводили тесты на всю аудиторию сайта, разделив её 50/50. Иногда из-за специфики интерфейса запускали эксперименты только на десктоп или мобильную версию.
Под каждый эксперимент в код сайта добавили фича-флаг, в зависимости от значения которого применялись изменения в интерфейсе интернет-магазина. Затем прописали его значение в настройках эксперимента в Метрике. Например: CARTBTN управляет положением кнопки «Заказать».
Пример 1. Расположение кнопки оформления заказа
Гипотеза: Если поставить стики-кнопку «Заказать» слева под адресом, это увеличит конверсию в оформление заказа.
Вариант А — Кнопка расположена справа под списком товаров
Вариант B — Поставили кнопку слева под адресом
Метрика: Оформление заказа
Платформа: Десктоп
Срок проведения: 2 недели
Результат: Гипотеза подтвердилась
Конверсия в нажатие кнопки «Заказать» на странице оформления заказа выросла на 8,45%
Пример 2. Название вкладки «Акции» в верхнем меню сайта
Гипотеза: Если переименовать пункт «% Акции» на «Все акции» в верхнем меню сайта, это увеличит конверсию в её нажатие.
Вариант А — Название кнопки «% Акции»
Вариант B — Название кнопки «Все Акции»
Метрика: Клик на раздел Акции
Платформа: Десктоп
Срок проведения: 1 неделя
Результат: Гипотеза не подтвердилась
Количество кликов после изменения текста на «Все акции» снизилось на 19,93%.
Пример 3. A/B/C-тест: название кнопки возврата в каталог
Гипотеза: Если на странице блога название кнопки «В магазин» изменить на «В каталог» или «На главную», это увеличит количество кликов по ней.
Вариант А — В магазин
Вариант B — В каталог
Вариант С — На главную
Метрика: Клик по кнопке возврата в каталог товаров
Платформа: Десктоп
Срок проведения: 1 неделя
Результат: Гипотеза подтвердилась
При формулировке «В каталог» кликабельность в раздел увеличилась на 32,5%.
Пример 4. Отзыв о товаре под кнопкой «В корзину»
Гипотеза: Если в карточке товара под кнопкой «В корзину» разместить положительный отзыв о товаре, это увеличит конверсию в добавление его в корзину.
Метрика: Добавление товара в корзину
Платформа: Десктоп
Срок проведения: 1 неделя
Результат: Гипотеза не подтвердилась
Существенных статистически значимых изменений в эксперименте не обнаружено.
