Что такое A/B-тестирование и как правильно его провести

Какие задачи решает A/B-тестирование

A/B-тесты помогают выполнить следующие задачи:

Проверить, принесут ли изменения нужный результат. Перед тем как вносить корректировки в проект, желательно сначала их протестировать. Так вы сможете избежать изменений, которые приведут к ухудшению показателей, например снизят кликабельность объявления.

Провести анализ поведения пользователей. Тестирование выявит, какие элементы на сайте или в РК привлекают пользователей, а какие — отталкивают. В дальнейшем вы сможете создавать проекты с учётом предпочтений потенциальных клиентов.

Улучшить пользовательский опыт. Тесты показывают, с каким вариантом интерфейса людям удобнее всего взаимодействовать. Опираясь на их результаты, можно улучшить навигацию сайта или приложения и сделать процесс покупки интуитивно понятным.

Сэкономить бюджет на привлечении трафика. Проведение A/B-тестов позволит снизить плату за потенциального клиента (CPL). Эксперимент выявит, какой текст или дизайн объявления приносит недорогие заявки и побуждает людей оставлять контакты. Это поможет сконцентрировать бюджет на более эффективных решениях.

Увеличить количество целевых действий. Тесты укажут на тот текст, изображение или дизайн, что больше мотивирует аудиторию совершить покупку или оставить заявку. О том, от чего зависит количество целевых действий, читайте в статье «Что такое конверсия и как её рассчитать».

Какие элементы можно проверять в A/B-тестировании

В рекламных материалах: заголовок, текст, иллюстрации, быстрые ссылки, видеоролики, призывы к действию, формат.

Рассмотрим пример: вы хотите сравнить два баннера — для этого создаёте две кампании с одинаковой аудиторией, текстом и прочими настройками, но с отличающимися друг от друга иллюстрациями.

Также можно экспериментировать с настройками РК: менять целевую аудиторию, время показа рекламы, ключевые слова.

В электронных письмах: тема, прехедер, иллюстрации, обращение к получателю, структура и длина письма, время отправки, цвет кнопок и ссылок, призыв к действию.

Например, если вы хотите понять, нужно ли включать в текст рассылки имя получателя, создайте два письма: в одном обратитесь к читателю напрямую, в другом — используйте приветствие без персонализации.

На сайте или в приложении: интерфейс, текст, количество информации на странице, описание продукта, оформление карточек товаров, форма и цвет кнопки, призыв к действию, расположение блоков, типографика, стиль.

Например, если вы хотите протестировать, какое рекламное предложение вызовет наибольший отклик у пользователей, создайте два варианта посадочной страницы.

Как провести тестирование

Чтобы провести тест и получить качественные результаты, необходимо пройти пять этапов:

Шаг 1. Сформулируйте гипотезу. Определите, для чего вы проводите тест и на какие показатели хотите повлиять. Гипотеза должна содержать условие и предположение, а также работать на бизнес-цели компании. Важно указать, какой прирост или падение показателя вы ожидаете. Например, подходящей гипотезой будет «если мы упростим форму обратной связи, то увеличим количество её заполнений на 10%».

Чтобы в будущем оценить результат, выделяют сразу два вида гипотез: нулевую и альтернативную. Первая предполагает, что никаких изменений не произойдёт, вторая — наоборот. Задача теста — отвергнуть нулевую гипотезу.

Шаг 2. Создайте два варианта тестируемого элемента. Одновременно важно сравнивать только одну переменную — допустим, форму кнопки. Тогда получится корректно интерпретировать итоги и выявить зависимости.

Шаг 3. Рассчитайте необходимый размер выборки. На этом этапе следует выбрать часть аудитории для A/B-тестирования. Под выборкой подразумевают множество пользователей, которым покажут разные версии элемента.

Важно, чтобы выборка была с теми же характеристиками, что и пользователи, которые обычно взаимодействуют с продуктом. Такую группу называют генеральной совокупностью. Например, если на ваш сайт заходят мужчины и женщины в пропорции 20 на 80, то и при тестировании цвета кнопки нужно сохранить это соотношение. Иначе итоги будут некорректными.

Точную долю аудитории определяют в зависимости от гипотезы. Также узнать, сколько людей вам понадобится, помогут специальные калькуляторы — их можно найти в интернете. Чаще всего для расчёта объёма выборки в них просят указать:

• Сколько вариантов элемента вы будете сравнивать
• Какое значение выбранной метрики у вас наблюдается сейчас
• Какого прироста вы ожидаете

Шаг 4. Запустите A/B-тест. Для этого необходимо выбрать инструмент, который поможет его провести. Это может быть, например, Яндекс Метрика, AppMetrica, Яндекс Директ или другой сервис.

Шаг 5. Проанализируйте итоги тестирования. Определите, какой из вариантов показал лучшие результаты и достигли ли они поставленной цели. А затем примите решение об их внедрении.

Как проводить A/B-тесты в Метрике

Запускать тестирование можно в Яндекс Метрике — бесплатной системе веб-аналитики. Она подойдёт для сравнения нескольких вариантов посадочных страниц, а также отдельных её элементов. Инструмент работает на базе технологий Varioqub.

Чтобы начать исследование в Метрике:

1. Зайдите в раздел «Эксперименты».

2. Установите предложенный код JavaScript на ваш сайт. Инструкцию, как это сделать, можно прочитать в Справке. Когда код будет внедрён, нажмите кнопку «Код уже установлен». Для продвинутых пользователей доступна более глубокая интеграция через открытое API.

3. Кликните по кнопке «Создать эксперимент». В бесплатной версии одновременно можно запустить два A/B-теста. Чтобы увеличить количество, подключите платный тариф на сайте Varioqub.

4. Введите название эксперимента и задайте его условия. Читайте в Справке, какие значения можно указать в каждом окне.

5. Укажите показатели, на которые вы хотите повлиять, — например, время на сайте.

6. Выберите тип эксперимента: Визуальный редактор, Ссылки для редиректа или Флаги в коде. Подробнее о каждом из них читайте в Справке.

7. Нажмите кнопку «Редактировать» и внесите изменения на странице сайта. Сервис позволяет добавлять до 25 различных версий страницы.

8. Сохраните и запустите тестирование. Перед этим ещё раз проверьте все настройки. После того как начнётся тест, его нельзя будет отредактировать.

Посмотреть, как выглядят изменения до запуска, можно с помощью блока «Проверка эксперимента», который располагается в правом нижнем углу экрана.

9. Ознакомьтесь с результатами после окончания теста. Для этого на странице «Эксперименты» нажмите ссылку «Посмотреть результат». Значимые различия вариантов будут выделены цветом — зелёным или красным.

Как запустить тестирование в Яндекс Директе

Протестировать РК можно в Яндекс Директе — это сервис для размещения объявлений в интернете. Но перед этим необходимо настроить A/B-тесты в Яндекс Аудиториях. С помощью этого инструмента собирают пользователей для показа рекламы.

1. Перейдите в Яндекс Аудитории, откройте вкладку «Эксперименты» и создайте первое исследование.

2. Назовите исследование и добавьте счётчик Метрики, к которому привязана кампания. Далее укажите долю каждого сегмента аудитории — тех, кто увидит обновление, и тех, кому будет показана старая версия. Для первого теста оптимальным значением будет 50 на 50.

3. В Директе выберите кампанию, на которой будете тестировать изменения. Затем создайте столько её копий, сколько сегментов у вас в исследовании. Все кампании-дубликаты нужно остановить.

4. Зайдите в режим редактирования кампаний. Одну из них оставьте без изменений, в другие внесите корректировки согласно вашей гипотезе.

5. Подключите кампании к исследованию. Для этого откройте дополнительные настройки и найдите окно «Эксперименты».

6. Добавьте исследование, которое настроили в Аудиториях. Сохраните изменения.

7. Остановите исходную рекламную кампанию и запустите все копии. После окончания тестирования вы сможете увидеть собранную статистику в «Мастере отчётов». Подробнее об отслеживании результатов A/B-теста читайте в Справке.

Как AppMetrica помогает с тестами

AppMetrica — платформа для аналитики мобильных приложений. Позволяет тестировать различные гипотезы и внедрять изменения без обновления версий продукта. Как и Метрика, функционирует на базе технологий Varioqub и предлагает на выбор базовый бесплатный и расширенные тарифы.

В AppMetrica удобный и понятный интерфейс, который помогает проводить исследования без привлечения разработчиков. Чтобы запустить эксперимент, следует задать условия, выбрать метрики для анализа, а также внести изменения. В бесплатной версии можно проводить до двух A/B-исследований одновременно.

Какие ошибки совершают при тестировании

Вот самые распространённые ошибки, которые можно допустить при тестах:

Одновременно сравнивать разные версии нескольких переменных. Например, тестировать сразу две версии главного офера и формы обратной связи. Такие исследования могут запутать и не показать прямых зависимостей. Важно в одном тесте проверять только один элемент.

Выбирать некорректные метрики. Такую ошибку совершают ещё на этапе формулировки гипотезы. Важно подбирать переменные и показатели, которые с большой вероятностью могут быть взаимосвязаны. Например, заголовок объявления и кликабельность.

Рано останавливать тест. Преждевременное окончание исследования может привести к неверным выводам. Чтобы этого избежать, дождитесь конца тестирования.

Бывают ситуации, когда на итоги сказываются различные обстоятельства: сезонность, инфоповоды, экономические спады. Чтобы исключить влияние этих факторов, рекомендуется проводить A/B-тесты не менее семи дней.

Тестировать гипотезы на слишком маленьком количестве пользователей. Недостаточный объём выборки приводит к результатам, которые не могут дать точное представление о поведении аудитории. Чтобы точнее рассчитать выборку, удобнее пользоваться специальными калькуляторами.

Другие статьи