Калькулятор достоверности A/B тестирования
p-value
жесткости дополнительных вложений
Сегмент | Размер сегмента | Расходы в сегменте | Конверсии | Клики |
|---|---|---|---|---|
A | % | |||
B | % |
CPA сегмента | Расходы относительно A | Конверсии относительно A | Клики относительно A | Относительный CPA | Относительная погрешность расходов | Относительная погрешность конверсий | Прибыль | Относительная прибыль | Относительная погрешность прибыли | Отклонение в сигмах | Вероятность того, что B лучше A |
|---|---|---|---|---|---|---|---|---|---|---|---|
— | — | — | — | — | — | — | — | — | — | ||
— | — | — | — | — | — | — | — | — | — | — | — |
Внедряем? |
|---|
— |
Как пользоваться калькулятором
В таблице выше укажите:
→ данные тестируемых сегментов — размер в процентах, расходы в любой валюте, количество конверсий и кликов. В строку А введите значения сегмента, с которым хотите сравнить результаты других тестов. Следующие строки заполните данными оставшихся сегментов, их количество не ограничено. Пустые поля заполнятся автоматически.
→ целевой уровень значимости (p-value) — значение, отражающее степень вашей уверенности в результатах эксперимента. Мы рекомендуем указать 80%. Слишком высокое значение p-value, например — 99%, повысит уверенность в результатах эксперимента, но снизит количество возможных улучшений.
→ максимальный коэффициент жесткости дополнительных инвестиций — значение того, во сколько раз вы готовы увеличить инвестиции в рекламу для получения большего числа конверсий, по сравнению с сегментом А. Если вы готовы увеличить бюджет на продвижение, введите значение больше единицы.
Как читать результаты
Показатель «Да» — результаты данного сегмента лучше результатов сегмента A. Вариант настроек на этом сегменте сработал эффективнее по сравнению с сегментом A.
Показатель «Нет» — результаты данного сегмента хуже результатов сегмента A.
Показатель «?» («Не определено») означает, что между A и сравниваемым сегментом нет статистически значимой разницы и определить лучший не получится. Причины такого результата могут быть разными — от размера сегмента до количества кликов, но сказать точно почти невозможно.
Пример
Калькулятор выделил зелёным цветом результаты A/B-теста в сегменте B.
Вывод: показатели сегмента B лучше данных сегмента A с вероятностью 86,04%.
Экспериментируйте с новыми A/B-тестами в Директе
Сценариев для экспериментов бесконечное множество — от смены настроек в кампании до тестирования разных медиапланов.
С помощью A/B-экспериментов в Директе вы можете разделить аудиторию на сегменты и протестировать разные стратегии, например — оптимизацию количества кликов или среднюю рентабельность инвестиций. А калькулятор подскажет, какая стратегия выгоднее именно для вашей кампании.
Подробнее про возможности A/B-тестирования мы рассказывали в материале.