Отчет о результатах эксперимента

Чтобы посмотреть отчет:

1. Перейдите в AppMetrica.
2. Перейдите на страницу Вариокуб → A/B эксперименты и под названием эксперимента нажмите Посмотреть результат.

Какие задачи может решать отчет

Отчет помогает посмотреть, есть ли в экспериментальном варианте статистически значимое изменение приемочной метрики по сравнению с контрольным вариантом.

В эксперименте тестируются гипотезы:

• H0 — значение метрики не изменилось в данном варианте по сравнению с контрольным вариантом.
• H1 — значение метрики изменилось в данном варианте по сравнению с контрольным вариантом.

В качестве статистического критерия используется Mann-Whitney U test с применением методов бакетизации. Для случаев малого количества данных используются поправки на дискретность.

При принятии статистическим критерием гипотезы H0 в отчете AppMetrica строка не выделяется цветом.

Важно помнить, что принятие гипотезы H0 не означает, что метрика не изменяется. С достаточной уверенностью утверждать можно только то, что эффект не превосходит MDE (Minimum detectable effect). Ловить более мелкие изменения метрики можно, увеличивая процент и длительность эксперимента.

При принятии статистическим критерием гипотезы H1 на уровне значимости P-value ≤ 0.05 в отчете AppMetrica строка варианта выделяется цветом. Интенсивность цвета может быть трех градаций и зависит от P-value — пороговые значения: 0.05, 0.01, 0.001.

Структура и настройки отчета

Данные в отчете сгруппированы по вариантам, которые участвуют в эксперименте. Контрольный вариант находится в первой строке.

Метрики

При создании эксперимента можно выбрать основную и дополнительные метрики. В ходе эксперимента они становятся доступны в отчете:

Основные метрики

• Количество пользователей — число пользователей приложения за указанный период.
• Количество сессий — количество сессий, поделенное на количество пользователей с 1+ сессией за период.
• Средняя продолжительность сессии — общая продолжительность сессий, поделенная на их количество (сессии с неопределенной продолжительностью не учитываются).
• Timespent на пользователя — время, которое пользователь проводит в приложении.
• Конверсия в событие "A"(c) — отношение пользователей с событием A, содержащим выбранные параметры c, к общему числу пользователей.
• Конверсия из события "A"(c) в событие "B"(d) — количество пользователей с событием B, содержащим выбранные параметры d, поделенное на количество пользователей с событием A с выбранными параметрами c.
• Пошаговая конверсия из события "A"(c) в событие "B"(d) — это отношения пользователей с событием B, содержащим выбранные параметры d, которое произошло после события A, к пользователям с событием A и параметрами c.

Ecommerce-метрики

• Доход от покупок в приложении на пользователя.

Рекламные метрики

• Рекламный доход на пользователя — доход от показов рекламы в приложении на пользователя.

Кроме этого, в отчете доступны:

• Дельта — разница между значениями метрики в экспериментальном и контрольном варианте.

• Дельта (%) — дельта, выраженная как процент от значения метрики в контрольном варианте.

• Доверительный интервал (±2σ) — изображение с доверительными интервалами для экспериментального и контрольного варианта на числовой оси.

• P-value — основная численная характеристика результата работы статистического критерия. Означает вероятность получить такие же или более экстремальные результаты в предположении, что на самом деле значение метрики не поменялось (гипотеза H0 в примере). Подробно см. статью.

  Принятие гипотезы осуществляется сравнением P-value с уровнем значимости: P-valuev ≤ alpha. По умолчанию используется порог alpha = 0.05.

  Важно понимать, что alpha задает вероятность ошибок первого рода (ложно-положительные срабатывания). При этом нецелесообразно делать alpha сильно низким, так как возрастает вероятность ошибок второго рода (ложно-отрицательные срабатывания) и увеличивается MDE.

• MDE (%) — Minimum detectable effect. Минимальное изменение метрики, которое можно разглядеть при таком количестве данных и с вероятностью ошибок первого рода alpha = 0.05 и ошибок второго рода beta = 0.2. Выражено в процентах от значения метрики в контрольном варианте. Уменьшать MDE можно увеличением процента и длительности эксперимента.

Другая метрика

В остановленном или идущем эксперименте можно добавить дополнительные метрики для построения отчета.

Эта функциональность может помочь, если вы выбрали неподходящую метрику при создании эксперимента или нужно проанализировать влияние эксперимента на другие метрики.

1. В AppMetrica перейдите на страницу Вариокуб → A/B эксперименты.

2. Под названием эксперимента нажмите Посмотреть результат.

3. Нажмите на выбранную метрику и в появившемся меню выберите Другая метрика.

Откроется список доступных метрик, исключая те, которые вы уже выбрали. Выберите нужную метрику, чтобы увидеть влияние эксперимента на неё.

Фильтры

Если при создании эксперимента вы выбрали несколько метрик, можно посмотреть график по каждой из них. Для этого выберите название метрики в выпадающем списке над графиком.

По умолчанию будут показаны полные данные по каждой из метрик. Данные на графике и в таблице можно отфильтровать.

В настоящее время доступны следующие фильтры:

Период времени

• Весь период (выбран по умолчанию) — весь период времени, в течение которого проводился эксперимент.

• Точный период — позволяет выбрать точные даты, для которых можно посмотреть данные на графике более детально. Для этого выберите Точный период в выпадающем списке над графиком и выделите даты, для которых будут показаны результаты. После этого нажмите Применить.

  Совет

  Если вы хотите посмотреть результаты на какой-то один определенный день, выберите Точный период и в окне выбора дат два раза нажмите на нужную дату. После этого нажмите Применить.

Дополнительные фильтры

• Срабатывание эксперимента — будут показаны результаты, относящиеся только к событиям, для которых зафиксировано срабатывание эксперимента.

• Только полные дни — будут показаны результаты, относящиеся к тем дням, когда эксперимент длился полные сутки.