Калькулятор достоверности A/B тестирования

Калькулятор позволяет быстро сравнить результаты A/B-тестов нескольких рекламных стратегий, а значит — определить наиболее эффективный набор инструментов и форматов.
Целевое
p-value
%
Максимально допустимый коэффициент
жесткости дополнительных вложений
Сегмент
Размер сегмента
Расходы в сегменте
Конверсии
Клики
A
%
B
%
CPA сегмента
Расходы относительно A
Конверсии относительно A
Клики относительно A
Относительный CPA
Относительная погрешность расходов
Относительная погрешность конверсий
Прибыль
Относительная прибыль
Относительная погрешность прибыли
Статистичекая значимость
Вероятность того, что B лучше A
Внедряем?

Как пользоваться калькулятором

В таблице выше укажите:

данные тестируемых сегментов — размер в процентах, расходы в любой валюте, количество конверсий и кликов. В строку А введите значения сегмента, с которым хотите сравнить результаты других тестов. Следующие строки заполните данными оставшихся сегментов, их количество не ограничено. Пустые поля заполнятся автоматически.

целевой уровень значимости (p-value) — значение, отражающее степень вашей уверенности в результатах эксперимента. Мы рекомендуем указать 80%. Слишком высокое значение p-value, например — 99%, повысит уверенность в результатах эксперимента, но снизит количество возможных улучшений.

максимальный коэффициент жесткости дополнительных инвестиций — значение того, во сколько раз вы готовы увеличить инвестиции в рекламу для получения большего числа конверсий, по сравнению с сегментом А. Если вы готовы увеличить бюджет на продвижение, введите значение больше единицы.

Как читать результаты

Показатель «Да» — результаты данного сегмента лучше результатов сегмента A. Вариант настроек на этом сегменте сработал эффективнее по сравнению с сегментом A.

Показатель «Нет» — результаты данного сегмента хуже результатов сегмента A.

Показатель «?» («Не определено») означает, что между A и сравниваемым сегментом нет статистически значимой разницы и определить лучший не получится. Причины такого результата могут быть разными — от размера сегмента до количества кликов, но сказать точно почти невозможно.

Пример

Калькулятор выделил зелёным цветом результаты A/B-теста в сегменте B.

Вывод: показатели сегмента B лучше данных сегмента A с вероятностью 86,04%.

Экспериментируйте с новыми A/B-тестами в Директе

Сценариев для экспериментов бесконечное множество — от смены настроек в кампании до тестирования разных медиапланов.

С помощью A/B-экспериментов в Директе вы можете разделить аудиторию на два сегмента и протестировать разные стратегии, например — оптимизацию количества кликов или среднюю рентабельность инвестиций. А калькулятор подскажет, какая стратегия выгоднее именно для вашей кампании.

Мы приглашаем рекламодателей протестировать A/B-эксперименты в Директе. Оставить заявку на подключение можно в форме, а подробнее про возможности A/B-тестирования мы рассказывали в материале.

Оставьте заявку на подключение