Провести A/B-эксперимент

Чтобы узнать, как новые изменения в игре влияют на поведение пользователей, проведите A/B-эксперимент. Для эксперимента выберите часть или всех пользователей и разбейте их на группы. Каждой группе будет показан уникальный экспериментальный вариант приложения. Все варианты создаются в консоли разработчика на базе одной версии с помощью флагов — пар «ключ-значение».

Отслеживайте изменения метрик в отчете, чтобы определить удачные изменения и улучшить показатели игры.

Перед созданием эксперимента:

1. Продумайте эксперимент:
   • какую гипотезу вы хотите проверить;
   • что меняете в разных вариантах;
   • каких показателей планируете достичь.
2. Реализуйте функциональность. Для этого используйте условия и флаги, полученные методом getFlags(), и загрузите новую версию приложения.
3. При необходимости добавьте новые флаги в конфигурацию и опубликуйте изменения.

Создание эксперимента

Чтобы создать эксперимент:

1. Перейдите в консоль разработчика.
2. Выберите приложение.
3. Перейдите на вкладку Эксперименты и нажмите кнопку Создать эксперимент.

Шаг 1. Название и описание

Добавьте название эксперимента, по желанию заполните поле Описание. В описании можно указать, что именно вы будете тестировать в эксперименте (например, цвета кнопки или коэффициенты выпадения ценной награды), какой результат предполагаете и какие метрики планируете улучшить.

Шаг 2. Условия

Период показа

По умолчанию эксперимент ограничен только по времени проведения. Вы можете определить дату начала и длительность эксперимента.

Доля аудитории

Определите, какая часть пользователей примет участие в эксперименте.

Условия

Условия позволяют ограничить аудиторию эксперимента. После добавления условий аудитория эксперимента будет состоять только из пользователей, соответствующих всем выбранным условиям, и от нее будет считаться Доля аудитории.

Чтобы создать ограничения, нажмите Добавить условие, выберите все нужные условия и заполните появившиеся поля.

Доступные условия:

• Платформы — мобильные, десктопные или ТВ устройства.
• Языки — язык на устройствах пользователей, которые увидят вашу конфигурацию.
• Регионы — регион, установленный на устройстве пользователей.
• Пользовательские параметры — вы можете указать собственные параметры в виде пары «ключ-значение», например param=value. Чтобы указать несколько значений с объединением по оператору «И», перечислите параметры через запятую. Пример: aparam=avalue, bparam=bvalue.

Шаг 3. Метрики

Для эксперимента доступны четыре метрики, по всем четырем будет построен отчет о результатах эксперимента.

Метрика	Описание
Время играния на игрока	Среднее время в минутах, которое игрок провел за один день в игре.
Показы interstitial на игрока	Среднее количество показов полноэкранных блоков на игрока в день.
Показы rewarded на игрока	Среднее количество показов блоков с вознаграждением на игрока в день.
Количество in-app покупок на игрока	Среднее количество внутриигровых покупок на игрока в день.

Шаг 4. Настройка вариантов

Вы можете настроить несколько вариантов, которые будут показаны пользователям в эксперименте. В качестве контрольного варианта рекомендуем использовать текущую версию вашего приложения без изменений, однако вы можете настроить изменения и в ней.

Изменения в контрольном и экспериментальном варианте настраиваются с помощью флагов. Чтобы получить флаги, используйте метод getFlags(). При этом вносить изменения в само приложение не нужно. Флаги принимают тип значения String.

1. Выберите блок варианта, изменения для которого нужно будет применить в эксперименте.
2. Задайте флаги с измененными параметрами.

Аудитория будет распределена на равные доли по количеству вариантов, и каждый вариант будет показан приблизительно одинаковому количеству пользователей.

Шаг 5. Сохранение и запуск эксперимента

Вы можете запустить эксперимент сразу или сохранить его как черновик, чтобы отредактировать и запустить его позже. В любой момент эксперимент можно проверить.

Проверка эксперимента

Вы можете проверить варианты и увидеть, как применились заданные изменения:

1. Убедитесь, что выбрали экспериментальные флаги для варианта, который хотите проверить.
2. В блоке Проверка эксперимента рядом с названием варианта перейдите по ссылке или скопируйте ее, чтобы открыть с другого устройства.
3. Протестируйте работу приложения с выбранными экспериментальными значениями флагов.

Условия эксперимента не учитываются при тестировании вариантов.

Калькулятор выборок

В блоке Калькулятор выборок вы можете оценить, будет ли результат эксперимента статистически значимым при заданных условиях эксперимента.

Калькулятор рассчитывает минимальный обнаруживаемый эффект (Minimum Detectable Effect, MDE), который показывает наименьшее изменение метрики. По нему можно определить, насколько маленькие изменения удастся зафиксировать в эксперименте при текущих данных с заданными уровнями ошибок. Если показатель низкий, то даже если метрика изменится на незначительный процент, это можно будет увидеть. Чтобы уменьшить MDE, увеличьте выборку или время проведения эксперимента. Если показатель высокий, то будут заметны только значительные изменения. Такой эксперимент можно провести на небольшой аудитории.

Заполните поля калькулятора так, чтобы они соответствовали информации о вашем приложении и эксперименте:

• Всего игроков в день — количество пользователей в день с учетом условий эксперимента, но не размера выборки. Последнее укажите в Доля аудитории. Чтобы вычислить значение поля Всего игроков в день, используйте продуктовую метрику Игроки.
• Продолжительность — длительность эксперимента в днях. Соотносится с полем Период показа из Шага 2. Условия.
• Доля аудитории — часть пользователей, которая примет участие в эксперименте. Соотносится с полем Доля аудитории из Шага 2. Условия.
• Вариантов — количество вариантов в эксперименте (от 2 до 26).
• Количество событий на игрока — число целевых событий, которое приходится на среднестатистического игрока. Чтобы вычислить это значение, разделите количество таких событий за какой-либо период на число уникальных пользователей в этом периоде с учетом условий эксперимента. Выбор целевого события зависит от метрики, которую вы приоритезируете. Если вы хотите изучить несколько метрик в течении одного эксперимента, проведите вычисления для каждой из них.

Границы детектируемого эффекта позволяют увидеть, какие показатели будут значимы статистически. Значимы будут те, которые лежат вне этих границ: меньше красной и больше зеленой. Показатели в диапазоне между ними могут быть случайным отклонением от конверсии контрольного варианта. Если этот диапазон слишком большой и вас интересуют менее выраженные изменения метрики, попробуйте изменить условия эксперимента, например увеличить его длительность или долю аудитории.

Запуск эксперимента

Чтобы запустить эксперимент, нажмите Сохранить и запустить. Ознакомьтесь с краткой информацией об эксперименте и нажмите Запустить, если вас все устраивает.

Когда эксперимент будет запущен, на вкладке Флаги появится информация о том, какие из них участвуют в экспериментах. На вкладке Эксперименты будет возможность посмотреть предварительный отчет.

Отчет о результатах эксперимента

Отчет позволяет увидеть статистически значимые изменения метрик в экспериментальном варианте по сравнению с контрольным.

Как читать отчет

Чтобы посмотреть отчет:

1. Перейдите в консоль разработчика.
2. Выберите приложение.
3. Перейдите на вкладку Эксперименты и под названием эксперимента нажмите Посмотреть результат.

Под кратким описанием эксперимента можно выбрать любую из доступных метрик и интервал, за который будет построен отчет. На графике будут показаны значения выбранной метрики в течение эксперимента для всех тестируемых вариантов.

В таблице под графиком отображены численно:

• Вспомогательные метрики, например Количество уникальных игроков.
• Основная метрика, которую можно выбрать в меню над графиком.
• Δ — разница между значениями метрики в экспериментальном и контрольном варианте.
• Δ, % — разница между значениями метрики в экспериментальном и контрольном варианте, выраженная в процентах от значения метрики в контрольном варианте.
• P-value — основная численная характеристика результата работы статистического критерия. Подробнее об этой характеристике см. в разделе Какие задачи может решать отчет.

Если метрики окрашены:

• серым — нельзя однозначно судить, влияет ли эксперимент на пользователя;
• зеленым — результат положительный и статистически значимый;
• красным — результат негативный и статистически значимый.

Интенсивность цвета может быть трех градаций и зависит от P-value — пороговые значения: 0.05, 0.01, 0.001.

Какие задачи может решать отчет

В эксперименте тестируются гипотезы:

• H0 — значение метрики не изменилось в данном варианте по сравнению с контрольным вариантом.
• H1 — значение метрики изменилось в данном варианте по сравнению с контрольным вариантом.

В качестве статистического критерия используется Mann-Whitney U test с применением методов бакетизации. Для случаев малого количества данных используются поправки на дискретность.

Для оценки результата эксперимента используют характеристику P-value. Она позволяет определить вероятность получить такие же или более экстремальные результаты в предположении, что на самом деле значение метрики не поменялось (гипотеза H0 в примере). Подробнее см. в статье в Википедии.

Если подтверждается гипотеза H0, то в отчете строка не выделяется цветом.

Важно помнить, что принятие гипотезы H0 не означает, что метрика не изменяется. С достаточной уверенностью утверждать можно только то, что эффект не превосходит MDE. Увидеть более мелкие изменения метрики можно, увеличивая длительность или аудиторию эксперимента. Для определения новых значений воспользуйтесь Калькулятором выборок.

Если подтверждается гипотеза H1 на уровне значимости P-value <= 0.05, то в отчете строка варианта выделяется цветом.

Принятие гипотезы осуществляется сравнением P-value с уровнем значимости: P-value <= alpha. По умолчанию используется порог alpha = 0.05.

Важно понимать, что alpha задает вероятность ошибок первого рода (ложно-положительные срабатывания). При этом нецелесообразно делать alpha сильно низким, так как возрастает вероятность ошибок второго рода (ложно-отрицательные срабатывания) и увеличивается MDE.

Принятие эксперимента

1. Перейдите в консоль разработчика.
2. Выберите приложение.
3. Перейдите на вкладку Эксперименты и под названием эксперимента нажмите Посмотреть результат. Изучите метрики тестирования в разных вариантах и примите решение, были ли протестированные изменения успешными.

Чтобы использовать экспериментальный вариант в качестве основного, нажмите Добавить флаги в конфиг. Новые значения будут доступны в последней версии приложения.

Если не удалось сделать однозначный вывод, попробуйте изменить условия эксперимента. Для определения новой длительности эксперимента или доли аудитории воспользуйтесь Калькулятором выборок.