Отчет о результатах эксперимента

Чтобы посмотреть отчет:

1. В Метрике перейдите на страницу Вариокуб → Эксперименты.

2. Под названием эксперимента нажмите Посмотреть результат.

Какие задачи может решать отчет

Отчет помогает посмотреть, есть ли в экспериментальном варианте статистически значимое изменение приемочной метрики по сравнению с контрольным вариантом.

В эксперименте тестируются гипотезы:

• H₀ — значение метрики не изменилось в данном варианте по сравнению с контрольным вариантом.

• H₁ — значение метрики изменилось в данном варианте по сравнению с контрольным вариантом.

В качестве статистического критерия используется Mann-Whitney U test с применением методов бакетизации. Для случаев малого количества данных используются поправки на дискретность.

При принятии статистическим критерием гипотезы H₀ в отчете Метрики строка не выделяется цветом.

Важно помнить, что принятие гипотезы H₀ не означает, что метрика не изменяется. С достаточной уверенностью утверждать можно только то, что эффект не превосходит MDE (Minimum detectable effect). Ловить более мелкие изменения метрики можно, увеличивая процент и длительность эксперимента.

При принятии статистическим критерием гипотезы H₁ на уровне значимости P-value ≤ 0.05 в отчете Метрики строка варианта выделяется цветом. Интенсивность цвета может быть трех градаций и зависит от P-value — пороговые значения: 0.05, 0.01, 0.001.

Структура и настройки отчета

Данные в отчете сгруппированы по вариантам, которые участвуют в эксперименте. Контрольный вариант находится в первой строке.

При создании эксперимента можно выбрать приемочную и дополнительные метрики. В ходе эксперимента они становятся доступны в отчете:

Основные метрики

• Время на сайте — информация о времени, которое посетители провели на сайте, с учётом количества визитов.

• Глубина просмотра — количество просмотров страниц сайта в одном визите.

• Доля визуальных отказов. При расчетах метрики учитываются визиты посетителей, которые попали в эксперимент. Например, если посетитель нажал кнопку и сразу закрыл страницу, то считается, что эксперимент не сработал — такой визит является отказом, но не визуальным отказом. Таким образом, визуальные отказы, как правило, ниже, чем отказы в Метрике.

• Аудитория (количество уникальных посетителей) — анализ характеристик посетителей. Уникальный посетитель — это пользователь, которому впервые присвоен идентификатор уникального посетителя сайта (i).

• Доходы по всем целям за визит:

  • доход по конкретной цели;

  • доход по всем целям;

  • доход по конкретному шагу составной цели.

• Конверсия в цель — доля визитов с достижением выбранной цели от общего количества визитов в варианте.

• Конверсия по пользователям в цель (Байес) — отношение количества уникальных посетителей, которые достигли цели, к общему количеству уникальных посетителей. Для расчета используется метод Байеса.

• Конверсия в шаг составной цели — позволяет указать последовательность шагов, которые посетитель совершает на пути к выполнению целевого действия. Шагами могут быть просмотры страниц или JavaScript-события.

• Доход по цели на визит. При достижении цели визит Метрика может фиксировать доход по этой цели. Это помогает учитывать ее коммерческую эффективность.

• Доход шага составной цели на визит. При достижении шагов составной цели на визит Метрика может фиксировать доход по этой цели. Это помогает учитывать ее коммерческую эффективность.

Ecommerce-метрики

Чтобы эти метрики начали отображаться в отчете, подключите электронную коммерцию.

• Доля визитов с покупкой.
• Средний GMV на визит с покупкой.
• Средний GMV на визит.

Рекламные метрики

Чтобы рекламные метрики начали отображаться в отчете, подключите счетчик Метрики к вашей рекламе. Подробно см. в разделе Эксперименты над рекламой.

Данные о доходах, представленные в Метрике, могут отличаться от данных в рекламном кабинете и от фактических сумм, так как различаются алгоритмы расчета в Метрике и других сервисах.

• Рекламный доход на визит (РСЯ) — это доход от показов рекламы на один визит.

• Рекламный доход на посетителя (РСЯ) — это доход от показов рекламы на посетителя.

Кроме этого, в отчете доступны:

• Вспомогательные метрики. Например, для конверсий в цель отображается числитель и знаменатель — количество визитов с достижением цели и общее количество визитов.

• Значение самой метрики. Например, конверсия в цель — доля целевых визитов в общем числе визитов.

• Дельта — разница между значениями метрики в экспериментальном и контрольном варианте.

• Дельта (%) — дельта, выраженная как процент от значения метрики в контрольном варианте.

• Доверительный интервал (±2σ) — изображение с доверительными интервалами для экспериментального и контрольного варианта на числовой оси.

• P-value — основная численная характеристика результата работы статистического критерия. Означает вероятность получить такие же или более экстремальные результаты в предположении, что на самом деле значение метрики не поменялось (гипотеза H₀ в примере). Подробно см. статью.

  Принятие гипотезы осуществляется сравнением P-value с уровнем значимости: P-value ≤ alpha. По умолчанию используется порог alpha = 0.05.

  Важно понимать, что alpha задает вероятность ошибок первого рода (ложно-положительные срабатывания). При этом нецелесообразно делать alpha сильно низким, так как возрастает вероятность ошибок второго рода (ложно-отрицательные срабатывания) и увеличивается MDE.

• MDE (%) — Minimum detectable effect. Минимальное изменение метрики, которое можно разглядеть при таком количестве данных и с вероятностью ошибок первого рода alpha = 0.05 и ошибок второго рода beta = 0.2. Выражено в процентах от значения метрики в контрольном варианте. Уменьшать MDE можно увеличением процента и длительности эксперимента.

• Фильтры (Добавить фильтр):

  • Исключить роботность.

  • Исключить визиты с отказом.

  • Платформы — ПК, смартфоны, планшеты, ТВ.

  • Достижение цели — доступно только в расширенной версии Varioqub.

  • Только полные дни — исключить дни, когда эксперимент шел неполный день, например, день начала или окончания эксперимента.

  • Источник трафика — позволяет отследить, откуда пользователи приходят на ваш сайт. Для этого выберите тип источника, например, Прямые заходы, Переходы из поисковых систем, Переходы по ссылкам на сайтах. В отчете используется автоматическая атрибуция. Подробнее см. в справке Метрики.

Отчет не поддерживает стандартные настройки Метрики.

Другая метрика

В остановленном или идущем эксперименте можно добавить дополнительные метрики для построения отчета.

Эта функциональность может помочь, если вы выбрали неподходящую метрику при создании эксперимента или нужно проанализировать влияние эксперимента на другие метрики.

1. В Метрике перейдите на страницу Вариокуб → Эксперименты.

2. Под названием эксперимента нажмите Посмотреть результат.

3. Нажмите на выбранную метрику и в появившемся меню выберите Другая метрика.

Откроется список доступных метрик, исключая те, которые вы уже выбрали. Выберите нужную метрику, чтобы увидеть влияние эксперимента на неё.

Полный отчет об эксперименте

Для остановленного эксперимента доступна возможность просмотра и скачивания полного отчета.

1. В Метрике перейдите на страницу Вариокуб → Эксперименты.

2. Нажмите меню → Посмотреть полный отчет рядом с названием эксперимента, для которого вы хотите получить полный отчет.

Откроется страница с отчетом, который включает в себя полную информацию обо всех настройках эксперимента, подробные данные главной метрики с графиком и сокращенные данные по всем вспомогательным метрикам.

• Нажмите Обновить отчет для обновления данных отчета. Обновление отчета доступно не чаще одного раза в час.

• Нажмите рядом с кнопкой Обновить отчет для отправки отчета на печать.

Публикация варианта эксперимента через персонализацию

Чтобы применить удачный вариант эксперимента, создайте из него персонализацию:

1. В Метрике перейдите на страницу Вариокуб → Эксперименты.

2. Под названием эксперимента нажмите Посмотреть результат.

3. Под вариантом с изменениями нажмите Создать персонализацию. Откроется черновик персонализации с условиями этого варианта.

4. Нажмите Сохранить.

Изменения из выбранного варианта применятся для всей аудитории сайта с учетом условий эксперимента. Например, в персонализацию перенесутся условия по платформе или региону и URL-фильтры.

Чтобы отменить изменения, остановите персонализацию:

1. В Метрике перейдите на страницу Вариокуб → Персонализации.

2. Напротив персонализации нажмите → Остановить.

Вопросы и проблемы

Данные в эксперименте не такие, как в отчете Метрики.

В эксперименте с редиректом значения в эксперименте и контроле сильно отличаются.

После удаления cookie‑файлов я попадал в разные эксперименты, но в отчете вижу только один визит.

Статистика по монетизации в Метрике и в партнерском интерфейсе разная.

Написать в службу поддержки