Клуб Директа

Как провести А/Б тестирование в Директе

yndx-Ksuzhi
31 октября 2013, 18:39

В Яндекс.Директе появились группы объявлений — инструмент, который позволяет протестировать для каждого вашего предложения несколько рекламных материалов и автоматически показывать аудитории самые кликабельные из них.
У объявлений в группе единые настройки — общий набор ключевых фраз, единые минус-слова, ставки и геотаргетинг. Таким образом, группы идеально подходят для А/Б, или сплит-тестирования.

 
A/B-тестирование — это один из самых простых и популярных методов маркетингового исследования. Его суть заключается в том, чтобы при прочих равных условиях показывать аудитории несколько вариантов какого-то элемента рекламы или сайта. Например, текста объявления. Измерив для них статистику, можно выяснить, какой из вариантов больше нравится целевым пользователям.
 

 

 

Проверьте разные варианты повышения эффективности
Создать группу объявлений для тестирования несложно. Для начала распределите ключевые слова в своей рекламной кампании по тематическим категориям товаров или услуг. Для каждой группы ключевых слов нужно составить несколько рекламных объявлений, которые вы хотели бы протестировать.
Проверить можно самые разные гипотезы. Например, рассказать о скидке и подчеркнуть временный характер предложения

или добавить указание конкретных моделей.


Поэкспериментировать стоит не только с текстами, но и с иллюстрациями

и быстрыми ссылками.


Одновременно лучше тестировать что-то одно — если все элементы объявлений в группе различаются, вам будет сложно оценить, какой из них повлиял на результат.
При необходимости у объявлений в группе могут различаться посадочные страницы и контактная информация. Это поможет, если вы сравниваете разные модели товаров или, к примеру, используете специальные номера телефонов для скидочных акций с разными условиями.

Система сама выберет лучший вариант
Сначала все объявления в группе будут равномерно показываться в ротации. Как только по ним накопится достаточная статистика, система начнет чаще показывать вариант с самым высоким CTR.
Объявления, оказавшиеся неэффективными, вы сможете в любой момент отключить или отредактировать.

Загрузите группу в интерфейс и начинайте эксперимент
Для начала включите в настройках пользователя в Директе опцию «Начать работать с группами». Создать группу объявлений можно несколькими способами:

  • Через Директ Коммандер. В его интерфейсе появилась специальная вкладка, где можно задать и отредактировать параметры группы.
  • Через API Директа. В версии API Live 4 поддержка групп добавлена во все методы работы с объявлениями.


Основные настройки показа задаются и редактируются только для всей группы сразу, а не для отдельных объявлений в ней. Подробности о работе с группами объявлений мы описали в помощи.

Обсудить новость можно здесь и в Блоге рекламных технологий.

 

18 комментариев

Во-первых, Спасибо за долгожданный фунционал.

И сразу пара вопросов:

1. Каковы параметры "достаточной статистики" для Яндекс?

2. "Как только по ним накопится достаточная статистика, система начнет чаще показывать вариант с самым высоким CTR."

Только этим ли ограничится Яндекс или на показателе качества группы и следовательно на ценах вцелом по группе это тоже отразится?

3. И вытекающий из второго вопроса - Появится ли новый параметр CTR группы объявлений (наравне с CTR кампании, CTR домена...) для исчисления параметра качества?

 

Здравствуйте.Спасибо и Вам!

Показатель CTR группы мы уже показываем. посмотреть на него можно непосредственно на странице кампании. В Помощи Директа про это написано: «При назначении ставок около каждого ключевого слова или рубрики каталога выводятся следующие данные:

-       суммарное число показов и кликов по всем объявлениям группы,

-       средний CTR по группе,

-       прогнозируемая цена клика для входа в спецразмещение, в гарантированные показы и на первое место гарантированных показов.»

Про прогнозируемую цену (это в п.2) мы пишем: «Прогнозируемая цена клика рассчитывается для всей группы — она обеспечивает вход на заданную позицию для большинства объявлений в группе.»  то есть цену мы рассчитываем в целом для группы, показатель CTR любого объявления из этой группы обязательно на цену повлияет. 

Вопрос про "достаточно статистики", точную цифру мы сказать не можем, так как для каждой группы все рассчитывается индивидуально, каждая группа уникальна (и ее настройки) зависит от частотности фраз, регионов, url’ов, итд.  

Спасибо

Илья Ильин
25 ноября 2013, 23:37

А вот можно ли где-то увидеть показатели эффективности объявлений внутри группы? Это должен быть отчет структуры Группа/Объявление, с показателями CTR, Цены цели и т.п., чтобы, собственно и понять какие объявления эффективнее при A/B тестировании.

для А/В тестирования сделала три объявления в группе. Одно было показано 5000 раз, второе 1000 раз, третье - 300 раз. А хотелось бы смотреть статистику на равномерном распределении.

Но тем не менее большой плюс, что есть эта возможность. Теперь можно вкл/выкл объявления в рамках одной группы не меняя каждый раз объявления через модерацию.

Сергей Муравьёв
9 января 2014, 06:32

Марина, а сколькои этом было переходов по каждому? По идее, достоверность АБ теста зависит именно от переходов.

Клики по объявлениям группы: 89/15/1. Честно говоря после первого тестирования забыла об этой функции...

Сергей Муравьёв
9 января 2014, 06:29

Ксения, с прошедшими праздниками! 

 

Подскажите плс, по вашему мнению, какое количество объявлений эффективно добавляять вгруппу доя качественного тесирования? 2, 3, 5, 10 вариантов?

Спасибо! И Вас :)
Что касается Вашего вопроса, в данном случае нет жестких ограничений, даже в рамках одной тематики разные рекламодатели могут использовать этот инструмент по-своему.
Попробуйте начать с небольшого количества, главное, чтобы были охвачены важные тематические направления, касающиеся Вашего товара или услуги.
Желаю успеха!
Сергей Муравьёв
11 января 2014, 07:16

Спасибо, пользуюсь с момента появления)

Илья Ильин
13 мая 2014, 12:34

Подскажите, а как система отреагирует, если я сниму в настройках галку "
Начать работать с группами", при том факте, что у меня уже есть загруженные группы объявлений.

Потом проблемы будут с excel редактированием компании, тоже попал спросак поначалу в этом вопросе.

Здравствуйте.

Ничего не произойдет, группы продолжат работать. Кампании без групп будут выгружаться в старом формате xls-файла.

Правильно ли я понял что А/Б тест не досступен для ретаргетинга?

 

При выгрузке в эксель - там просто нет ретаргетинговых объявлений.

Возможно ли с помощью групп объявлений сравнить объявления не по CTR, а по конверсии (отношение кол-ва достижений цели к кол-ву показов)?
И если да, то как?
Владимир
29 июля 2014, 23:47

Апну тему. Вот это действительно нужный функционал. Ну или хотя бы уж равномерный показ, чтобы в ручную конверсию сравнить.