Эксперименты в Директе для всех и новый отчёт в Метрике

Прежде этот инструмент был доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой. С появлением нового отчёта в Метрике для проведения теста больше не нужны специальные навыки, и провести эксперимент сможет бизнес любого размера. Сделать выводы теперь несложно: система автоматически проверит, накопилось ли достаточно данных для анализа, и выделит более выигрышные значения показателей зелёным, а менее удачные — красным. Но не будем забегать вперёд и расскажем обо всём по порядку.

Как это работает

Для начала нужно запустить эксперимент. Например, с помощью этого инструмента можно:

• выбрать наиболее эффективную стратегию управления ставками,
• сравнить размещения на поиске и в сетях,
• протестировать разные типы кампаний или любые их настройки — например, попробовать запустить видеорекламу, чтобы проверить, насколько это выгодный формат.  

Запуская эксперимент, важно иметь ввиду несколько важных моментов:

1. Тестировать только одну гипотезу за раз.
2. В идеальном случае в эксперименте должно набираться минимум 200 конверсий для статистически значимого результата. Если данных меньше, лучше исследовать цель, которая находится выше по воронке продаж и достигается чаще.
3. Если нужно сравнить эффективность ручной и автоматических стратегий, важно, чтобы за время эксперимента кампании потратили одинаковое количество средств.

О том, как устроены эксперименты в Директе, как их запустить, и о самых распространенных сценариях мы рассказывали в отдельной статье. Подробное руководство можно найти также в Помощи Яндекс.Аудиторий и Директа.

Где оценивать результат

Новый отчёт появится в интерфейсе Метрики в разделе «Источники → Директ» сразу после создания эксперимента. Чтобы оценить статистику по эксперименту, переключите отчёт в режим сравнения:

Обычно после запуска тестирования нужно подождать около двух недель, чтобы накопилось достаточно статистики. Если данных окажется слишком мало, невозможно будет уверенно сделать вывод о том, какой из вариантов оказался лучше. Как с подкидыванием монетки: если из десяти бросков «орёл» выпал два раза, а «решка» — восемь, это вовсе не значит, что «орёл» всегда выпадает гораздо реже.

Как понять, что данных достаточно

Чтобы узнать, достаточно ли данных для сравнения, нужно оценить их статистическую значимость. Иными словами, убедиться, что текущий результат будет незначительно отличаться от того, который мы бы получили, если бы подкидывали монетку бесконечно много раз.

Вручную считать ничего не придётся — Метрика рассчитывает статистическую значимость эксперимента автоматически.

Данных достаточно, когда показатели, по которым вы решили оценивать эксперимент, выделены в отчёте цветом:

• Зелёный означает, что экспериментальный вариант оказался значимо лучше контрольного — то есть того, с которым вы его сравниваете.
• Красный — значимо хуже.
• Серый — данных достаточно, но показатели контрольной кампании не отличаются от экспериментальной.

Отсутствие цвета может означать две вещи:

• Данных ещё недостаточно. Нужно подождать ещё какое-то время или запустить новый эксперимент с другими настройками, позволяющими собрать больше трафика.
• Для показателя недоступно сравнение. Список всех показателей, которые можно сравнивать, есть в Помощи Метрики.

Вместе с отчётом в Метрике можно использовать калькулятор проверки достоверности теста

Отчёт в Метрике даёт быстрый ответ на вопрос «достаточно ли данных для оценки», а ещё позволяет сравнить конверсионные метрики контрольных и экспериментальных кампаний. Например, если вы тестируете разные варианты лендингов, отчёт в Метрике покажет, какой из них показывает более высокую конверсию. Сравнение конверсии также пригодится, если вы проверяете разные аудиторные таргетинги: например, хотите понять, кто лучше откликается на ваш контент — мужчины или женщины.

Если с помощью эксперимента вы хотите проверить, какой из вариантов покажет лучший показатель CPA (стоимость целевого действия), поможет наш новый Калькулятор достоверности теста. Например, если вы сравниваете разную величину корректировок ставок, в калькуляторе можете вручную ввести расходы по каждому из вариантов, количество конверсий и кликов — а система сама рассчитает CPA, проверит, достаточно ли данных, и покажет более выгодный вариант.

Чтобы вам было проще проводить эксперименты, мы составили небольшую шпаргалку: