Что такое A/B-тестирование и как правильно проводить сплит-тесты
Чтобы вносить изменения на сайте и в рекламных кампаниях для повышения их эффективности, применяют инструменты A/B-тестирования. В статье объясняем, какие задачи A/B-тест может решить в маркетинге, в каких сервисах его можно провести и как это сделать самостоятельно.
Что такое A/B-тестирование
A/B-тесты широко применяют в маркетинге. Этот метод исследования позволяет узнать реакцию людей на какие-либо изменения в конкретных точках взаимодействия с бизнесом — там, где пользователь принимает решение или совершает действие.
Примеры, где используют A/B-тесты:
В интернет-рекламе. Их применяют, чтобы сравнить разные варианты рекламных объявлений или настроек РК.
В email-маркетинге. Тестирование помогает выбрать те варианты писем, которые побуждают получателей открыть их и совершить целевое действие — например, перейти по ссылке.
При оптимизации сайта или мобильного приложения. A/B-тесты могут подсказать, какой вариант веб-страницы или экрана принесёт больше пользователей и заявок, а также сделает ресурс удобнее.
A/B-тесты подойдут всем, кто работает над повышением качества продукта: владельцам бизнеса, маркетологам, дизайнерам, специалистам по настройке рекламы, разработчикам.
Какие задачи решает A/B-тестирование
Проверить, принесут ли изменения нужный результат. Перед тем как вносить корректировки в проект, нужно сначала их протестировать. Так вы сможете избежать изменений, которые приведут к ухудшению результата.
Провести анализ поведения пользователей. Тест выявит, какие элементы привлекают пользователей, а какие — отталкивают. В дальнейшем вы сможете создавать проекты с учётом предпочтений потенциальных клиентов.
Увеличить количество целевых действий. Тесты укажут на тот текст, изображение или дизайн, что больше мотивирует аудиторию совершить покупку или оставить заявку. О том, от чего зависит количество целевых действий, читайте в статье «Что такое конверсия и как её рассчитать».
Когда имеет смысл проводить A/B-тестирование
A/B-тест может дать полезный результат, когда его запускают в спокойный и предсказуемый период. Важно, чтобы на поведение аудитории не влияли сезонные всплески, распродажи, громкие инфоповоды или внешние события. В стабильных условиях проще увидеть реальный эффект изменений и сделать корректные выводы.
Когда A/B-тестирование не даст результата
Низкий трафик. Если на страницу приходят или по объявлению кликают мало пользователей, результаты не покажут реальной картины. Чтобы данные были точнее и отражали поведение всей аудитории, нужно правильно рассчитать объём выборки.
Нет времени на полноценный эксперимент. A/B-тест планируют на ограниченный срок, который не позволяет собрать репрезентативную выборку.
Какие элементы можно проверять в A/B-тестировании
В рекламных материалах: заголовок, текст, изображения, быстрые ссылки, видеоролики, призывы к действию, формат и другие элементы.
Можно также экспериментировать с настройками РК— например, менять целевую аудиторию, время показа рекламы, ключевые слова и многое другое.
В электронных письмах: тема, прехедер, иллюстрации, обращение к получателю, структура и длина письма, время отправки, цвет кнопок и ссылок, призыв к действию и другие элементы.
На сайте или в приложении: оформление карточек товаров, описание продукта, текст, интерфейс, количество информации на странице, расположение блоков, форма и цвет кнопки, призыв к действию, типографика, стиль и многое другое.
Например, если нужно понять, какое предложение сработает лучше, создают два варианта одной страницы и смотрят, на какойв пользователи активнее реагируют.
Как провести тестирование
Определение цели и гипотезы
Определите, для чего вы запускаете тест и на какие показатели хотите повлиять. Гипотеза должна содержать условие и предположение, а также работать на бизнес-цели компании. Нужно указать, какой прирост или падение показателя вы ожидаете. Подходящей гипотезой будет: «Если мы упростим форму обратной связи, то увеличим количество её заполнений на 10%».
Чтобы в будущем оценить результат, выделяют сразу два вида гипотез: нулевую и альтернативную. Первая предполагает, что изменения не повлияют на показатели, вторая — наоборот. Задача теста — отвергнуть нулевую гипотезу.
Выбор метрики
Одновременно важно сравнивать только одну переменную — допустим, форму кнопки. Тогда получится корректно интерпретировать результаты, выявить зависимости и использовать эти данные, чтобы улучшать продукт.
Если тестировать сразу несколько элементов, будет сложно оценить, что могло повлиять на результаты.
Подготовка эксперимента
Определите параметры и размер выборки. Важно, чтобы характеристики были схожи с пользователями, которые обычно взаимодействуют с продуктом. Такую группу называют генеральной совокупностью. Если на лендинг заходят мужчины и женщины в пропорции 20 на 80, то и при тестировании цвета кнопки нужно сохранить это соотношение, иначе результаты будут некорректными.
Объём аудитории определяют в зависимости от гипотезы. Узнать, сколько пользователей вам понадобится, помогут специальные калькуляторы — их можно найти в интернете. Чаще всего для расчёта объёма выборки в них просят указать:
Сколько новых вариантов элемента вы будете сравнивать
Какое значение выбранной метрики у вас наблюдается сейчас
Какого прироста вы ожидаете
И другие параметры
Проведение теста
Чтобы запустить A/B-тест, необходимо выбрать инструмент, который поможет его провести. Например, это может быть Яндекс Метрика— для проверки гипотез на сайте, AppMetrica— для тестов в мобильных приложениях. В обоих сервисах эксперименты проводятся на базе Вариокуба. Для проведения A/B-тестов в кампаниях и объявлениях подойдёт Яндекс Директ. Можно также выбрать любые другие сервисы исходя из задач бизнеса.
Анализ результатов
Проанализируйте результаты A/B-теста. Определите, какой из новых вариантов показал лучшие данные, достигли ли они поставленной цели, подтвердилась ли гипотеза. Проверьте, что результат достоверный, а не случайный. А затем примите решение, можно ли их использовать для внедрения.
Как оценивать результаты A/B-тестирования
A/B-тест может показать разные итоги: изменения могут улучшить показатели и положительно повлиять на конверсию, не привести к заметным сдвигам или ухудшить результат. Важно заранее учитывать все сценарии пользователей, сравнивать новые варианты по ключевой метрике и на основе данных решать, стоит ли внедрить изменение, доработать его или отказаться.
Инструменты для проведения A/B-тестирования
Как проводить A/B-тесты в Метрике
Запускать эксперименты можно в Яндекс Метрике — системе веб-аналитики. Она поможет протестировать любые гипотезы на сайте. Для этого используются технологии Вариокуб.
Чтобы начать исследование в Метрике:
1. Найдите раздел «Вариокуб»— «Эксперименты».
Раздел расположен в левой части экрана
2. Подключите Вариокуб к сайту. Достаточно настроить его один раз— доступно несколько способов:
Установите предложенный код JavaScript на ваш сайт— по кнопке «Код для сайта». Когда код будет внедрён, нажмите кнопку «Код уже установлен».
Продвинутые пользователи могут использовать интеграцию через открытый API.
Внести изменения в код сайта можно также через Яндекс Тег Менеджер или Google Tag Manager.
Подробнее о способах установки рассказываем в Справке.
Метрика предлагает вставить JS-код на веб-ресурс несколькими способами
3. Нажмите «Создать эксперимент». Базовая версия позволяет запустить до двух одновременных A/B-тестов. Расширенные тарифы в сервисе Вариокуб позволяют увеличить количество.
Кнопка располагается в правом верхнем углу
4. Назовите эксперимент, задайте его условия. Читайте в Справке, какие значения можно указать в каждом окне. Подробнее о настройке эксперимента— в отдельной статье.
На скриншоте — пример заполнения условий теста
5. Укажите показатели, на которые вы хотите повлиять, например время на сайте.
В разделе «Метрики» выберите тот показатель, по которому будете оценивать успешность A/B-теста
6. Выберите тип эксперимента: «Визуальный редактор», «Редирект», «Виджеты», «Рекламные блоки» или «Флаги». Подробнее о каждом из них читайте в Справке.
7. В типе эксперимента «Визуальный редактор» нажмите кнопку «Редактировать» и внесите изменения на странице сайта. Подробнее читайте в Справке.
Чтобы переименовать вариант, кликните два раза по его названию
8. Сохраните и запустите тестирование.
Посмотреть, как выглядят изменения до запуска, можно с помощью блока «Проверка эксперимента», который располагается в правом нижнем углу экрана.
Убедитесь, что вы начали A/B-тест. Для этого обратите внимание на его статус
9. Ознакомьтесь с результатами после окончания теста. Для этого на странице «Эксперименты» нажмите ссылку «Посмотреть результат». Значимые различия вариантов будут выделены цветом — зелёным или красным. Выделение может быть и серым: это значит, что пользователи не заметили разницы между вариантами.
Результаты представлены в виде графика с таблицей
Как запустить тестирование в Яндекс Директе
Протестировать кампанию можно в Яндекс Директе — это сервис для продвижения товаров и услуг в интернете. Но перед этим необходимо настроить A/B-тесты в Яндекс Аудиториях. С помощью этого инструмента собирают пользователей для показа объявлений.
1. Перейдите в Яндекс Аудитории, откройте вкладку «Эксперименты», создайте первое исследование.
Раздел «Эксперименты» находится вверху
2. Назовите исследование и добавьте счётчик Метрики, который привязана к кампании. Далее укажите долю каждого сегмента аудитории — тех, кто увидит новый вариант, и тех, кому будет показан старый. Для первого теста оптимальным значением будет 50 на 50.
На скриншоте — пример заполнения полей настройки эксперимента
3. В Директе выберите кампанию, на которой будете тестировать изменения. Затем создайте столько новых копий, сколько сегментов у вас в исследовании. Все кампании-дубликаты нужно остановить.
Чтобы дублировать кампанию, выделите её и в нижней панели выберите функцию «Копировать»
4. Зайдите в режим редактирования кампаний. Одну из них оставьте без изменений, в другие внесите корректировки согласно вашей гипотезе.
5. Подключите кампании к исследованию. Для этого откройте дополнительные настройки и найдите окно «Эксперименты».
Так выглядит раздел «Эксперименты»
6. Добавьте исследование, которое настроили в Аудиториях. Сохраните изменения.
Название исследования появится в настройках
7. Остановите исходную кампанию и запустите все копии. После окончания теста вы сможете увидеть собранную статистику в Мастере отчётов. Подробнее об отслеживании результатов A/B-теста читайте в Справке.
Как AppMetrica помогает с тестами
AppMetrica — платформа для аналитики мобильных приложений. Она позволяет тестировать различные гипотезы и внедрять изменения без обновления версий продукта. Как и Метрика, платформа функционирует на базе технологий Вариокуб и предлагает на выбор базовый бесплатный и расширенные тарифы. Подробнее читайте в отдельной статье.
В AppMetrica удобный и понятный интерфейс, который помогает организовывать исследования без привлечения разработчиков. Бесплатная версия позволяет настроить до двух A/B-исследований одновременно.
Настройка теста в AppMetrica похожа на аналогичные настройки в Метрике
Какие ошибки совершают при тестировании
Вот самые распространённые ошибки, которые можно допустить при тестах.
Одновременное сравнение нескольких переменных. В одном тесте нередко пытаются проверить сразу два и больше разных варианта— например, новый заголовок и изменённую форму обратной связи. В таких случаях сложно понять, что именно повлияло на результат. Правило простое: один тест— одно изменение.
Выбор некорректных метрик. Гипотеза строится на показателях, которые никак не связаны между собой. Например, проверяют, влияет ли цвет кнопки на число подписчиков в телеграм-канале. Чтобы тест имел смысл, метрики должны быть взаимосвязаны: заголовок объявления логично проверять по кликабельности, а форму регистрации— по количеству заполненных заявок.
Преждевременная остановка теста. Исследование прерывают раньше срока, и результаты оказываются случайными и не отражают реальной картины. Даже если первые данные кажутся убедительными, нужно дождаться завершения теста— только тогда можно делать надёжные выводы.
Кратко об A/B-тестировании
A/B-тест помогает проверять изменения на основе данных
Тестируют одну гипотезу и один элемент за один раз
Для надёжных выводов нужен стабильный трафик и время
Результаты оценивают по влиянию на ключевую метрику и конверсию
Тест может улучшить показатели, не дать эффекта или ухудшить их
Данные и результаты можно использовать для внедрения, доработки или отказа от изменений