Клуб Директа

А/B тестирование в рамках уже работающих групп со статистикой

Sortafreel
23 июня 2014, 18:34

День добрый.
 

Ситуация: есть группа с 1 словом и 1 объявлением. У слова/объявления уже около пары сотен показов, несколько десятков кликов и т.п.

Вопрос: что делать, если я хочу добавить в эту группу еще одно объявление для тестирования эффективности текста? То есть, все понятно, если группа новая, и у всех объявлений нулевая статистика. А если у одного из объявлений статистика уже есть? Будет ли Яндекс сравнивать их с нуля, или лучше отключить на время ту группу, создать новую с этим же словом/двумя объявлениями, оттестировать, а потом лучшее объявление использовать для основной группы?

 

Спасибо.

3 комментария

А/В тестирование - бесконечный процесс. В любой момент рекламодатель может найти дополнительный вариант объявления для тестирования. Не создавать же каждый раз новую группу для тестирования нового варианта.

На мой взгляд много проще записать значения накопленной статистики для интересуещей группы перед началом тестирования и просто минусовать эти значения при контроле группы уже при тестировании.

Не получится, ведь Яндекс же сам выбирает объявление для ротации, так? И если он выберет объявление для ротации сразу, основываясь на старой статистике, то новая версия не получит и 1 показа, а я решу что она хуже, что не есть правдой.

Новые объявления должны набрать статистику. достаточную для принятия решения системой по ним - хуже они или лучше. До этого момента все имеющиеся объявления группы (старое со статистикой и новые без оной) будут поочерёдно показываться - ротироваться.

Цитата из Помощи: "Сначала объявления в группе показываются в ротации. Как только по ним накапливается достаточная статистика, система начинает чаще показывать по заданным ключевым словам вариант с самым высоким CTR. "