Эксперименты с кампаниями

Эксперименты помогут вам проверить, какие настройки рекламных кампаний в Директе наиболее эффективны для вашего бизнеса. Например, вы можете:
  • узнать, как влияют друг на друга кампании разных типов;
  • проанализировать влияние показов рекламы на конверсии на сайте;
  • сравнить эффективность автоматических стратегий и ручного управления ставками.

Эксперименты позволяют протестировать различные предположения о работе рекламы, комбинации настроек кампаний, типы кампаний и даже медиапланы.

Перед началом эксперимента

  1. Сформулируйте гипотезу, которую хотите проверить. Гипотеза должна затрагивать изменение одного параметра. В рамках одного эксперимента мы рекомендуем проверять только одну гипотезу.

  2. Проверьте, что у вас есть доступ к экспериментам в Аудиториях, Директе и Метрике. Если доступа нет, обратитесь к вашему менеджеру в Яндексе.

  3. В Метрике должны быть настроены цели. Мы рекомендуем проводить эксперимент, если по интересующим вас целям набирается не менее 200 конверсий в месяц, — иначе результаты могут быть статистически недостоверными.

  4. Обратите внимание, что эксперимент невозможно провести для рекламы мобильных приложений и медийных кампаний со сделками.

Как провести эксперимент

Настроить эксперименты можно в четыре шага.

Шаг 1. Создайте эксперимент в Аудиториях

На вкладке Эксперименты нажмите кнопку Создать эксперимент. Введите название и выберите счетчик Метрики, который хотите использовать для эксперимента. Укажите, на сколько сегментов и в каких долях нужно разделить аудиторию эксперимента. Аудитория будет случайным образом распределена по сегментам в соответствующих долях.

Сегментов может быть два или больше, причем они необязательно должны быть равномерными. Например, если вы боитесь сильного увеличения расходов из-за подключения какой-либо настройки, можно разделить аудиторию в соотношении 70% и 30%.

Подробнее о создании эксперимента и работе с ним в Помощи Аудиторий.

Шаг 2. Настройте эксперимент в Директе

Чтобы настроить эксперимент в Директе, выполните следующее:

  1. Подготовьте кампании к тестированию. Сделайте столько копий исходной кампании, сколько сегментов в эксперименте. Кампании-копии должны быть остановлены. Одну кампанию оставьте идентичной исходной, в других — измените нужный параметр в соответствии с гипотезой. Все остальные параметры, рекламные материалы и бюджет должны быть одинаковыми.
  2. Во всех кампаниях добавьте счетчики Метрики, которые вы указали при создании эксперимента.
  3. Подключите кампании к эксперименту. Для этого на странице параметров кампании в блоке Эксперименты нажмите Активные эксперименты и нацеливание → Изменить. Откроется окно настройки экспериментов.

    Поставьте галочку рядом с нужным экспериментом. Одну кампанию можно одновременно подключить не более чем к 5 экспериментам. Укажите сегмент аудитории, которому хотите показывать объявления этой кампании.

    Примечание.

    Помните, что экспериментальные сегменты — это ограничение таргетинга. Например, если вы настроили показы на женщин 18-25 лет и нацеливаете кампанию на сегмент, содержащий 20% аудитории, то в него попадет 20% женщин 18-25 лет из всей аудитории.

  4. Если необходимо, вы можете настроить для выбранного сегмента корректировки ставок. Для этого в строке сегмента нажмите и укажите, на сколько процентов нужно увеличить или уменьшить ставки. Все ставки данной кампании изменятся на указанный процент.

  5. Остановите исходную кампанию и одновременно запустите кампании-копии.

Эксперимент запущен. Реклама будет показываться в соответствии с настройками эксперимента. Длиться он должен достаточное количество времени, чтобы накопилась статистика для корректной оценки результата, — обычно это не меньше месяца.

Другие примеры настройки экспериментов можно посмотреть в разделе Варианты использования.

Шаг 3. Смотрите статистику по эксперименту

Оценить результаты эксперимента помогут отчеты Директа и Метрики. Для этого понадобятся данные о расходах из Мастера отчетов и о конверсиях из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — например, клики, показы или CTR — не рассматриваются.

При просмотре статистики в Директе и Метрике нужно:

  • выбрать одинаковые периоды просмотра статистики;
  • убедиться, что эксперимент не прерывался на протяжении всего выбранного периода;
  • отфильтровать данные по региону показа, на котором вы проводили тестирование.
В Директе

В Мастере отчетов выберите СтолбцыРасход всего (руб.). Затем добавьте условие фильтрации Эксперименты и выберите нужный эксперимент.

Данные о расходах по каждому сегменту находятся в столбце Расход всего (руб.).

В Метрике

Чтобы перейти к статистике эксперимента в Метрике, в Аудиториях нажмите кнопку Результаты у нужного счетчика. Вы будете перенаправлены к отчету по соответствующему эксперименту. Нажмите кнопку Метрики и выберите достижения целей, интересующих вас в рамках эксперимента. Например, оформление заказа на сайте или добавление товара в корзину.

Подробнее читайте в Помощи Метрики.

Допустим, в ходе эксперимента вы получили следующие результаты

Сегмент Доля сегмента, % Расходы, руб. Достижения цели
А 50 100 000 200
Б 50 100 000 500

По таким данным можно сделать следующие выводы: при одинаковых затратах сегмент Б принес на 150% (± 29% — с учетом погрешности) больше конверсий, чем сегмент А. При этом стоимость достижения цели уменьшилась на 60% (± 5%). Кампания, нацеленная на сегмент Б, эффективнее.

Шаг 4. Остановите эксперимент

После того как вы проанализируете статистику эксперимента, завершите его. Одновременно остановите все тестируемые кампании. Отвяжите эксперимент от успешной кампании, показ объявлений которой хотите продолжить. Для этого в окне настройки экспериментов снимите галочку с нужного эксперимента.

Варианты использования

С помощью экспериментов вы можете проводить тестирование любой сложности.

Подключение медийной рекламы

Если у вас есть контекстная кампания, вы можете проверить, как скажется на показателях кампании и сайта подключение медийной рекламы.

В Аудиториях создайте эксперимент и укажите, какому проценту пользователей хотите показывать медийную рекламу. В Директе создайте медийную кампанию и нацельте ее на нужный сегмент эксперимента. Контекстную кампанию подключите к эксперименту. Распределите рекламный бюджет между кампаниями и установите соответствующие ограничения.