Создание эксперимента

Чтобы создать эксперимент:

1. Перейдите в AppMetrica.
2. Перейдите на страницу A/B эксперименты и нажмите кнопку Создать эксперимент.

Добавление условий

По умолчанию эксперимент ограничен только по времени проведения. Вы можете добавить правила, чтобы ограничить условия. Условия добавляются по оператору «И».

• Доля аудитории — это процент суммарно всех вариантов эксперимента (по умолчанию задано значение 100%). Вы можете изменить его и провести эксперимент только на части аудитории вашего приложения.

• Мобильные ОС — операционная система, для которой разработано ваше приложение.

• Версии ОС — версия операционной системы пользователя.

  Версия должна содержать только цифры, разделенные точкой. Чтобы указать одну версию, задайте одинаковое значение для начала и конца интервала. Для Android указывайте API level.

• Языки — язык на устройствах пользователей, которые увидят вашу конфигурацию.

• Регионы — регион, который установлен на устройстве пользователей.

• Версии приложения — версия или диапазон версий вашего приложения, пользователи которой увидят конфигурацию.

• Клиентские параметры — вы можете указать собственные параметры в виде пары «ключ-значение», например param=value.

  Чтобы Varioqub учитывал несколько условий одновременно, укажите их через запятую: aparam=avalue,bparam=bvalue (будет применяться оператор «И»). Отдельные блоки условий объединяются по оператору «ИЛИ».

  Символы, которые можно использовать с параметрами и их значениями

  • = — ставится между названием параметра и его значением, при отсутствии учитывается только наличие параметра. Пример: param=value
  • ? — означает любой символ, который встречается ноль или один раз. Пример: pa?am=va?ue
  • * — означает любые символы, которые встречаются ноль или несколько раз. Пример: p*m=v*e
  • + — означает любые символы, которые встречаются один или несколько раз. Пример: p+m=v+e
  • ! — означает отрицание условия или исключение параметра из влияния на эксперимент. Пример: !param=val

  Важно

  Отрицание ! ставится только первым символом в ключе.

  • Корректный пример: !param=value.
  • Некорректные примеры: param!=value или param=!value.
  Примеры использования

  Пример использования	Что учитывается в эксперименте
  param	Только наличие параметра, независимо от значения.
  param=value	Наличие точного названия параметра и его точного значения.
  !param	Отсутствие параметра с любым значением.
  *param*=value	Все параметры, которые содержат фрагмент param со значением value.
  !*param*=value	Значение любого параметра с фрагментом param не должно равняться value.
  !*param*=*value*	Значение любого параметра с фрагментом param не должно содержать value.
  !*param*	Отсутствие параметра, содержащего фрагмент param.

  Примечание

  Опция доступна для платных тарифов AppMetrica.

Пересечения с экспериментами

Пересечение означает, что два или более эксперимента проводятся одновременно и могут влиять друг на друга.

Например, если вы проводите эксперимент по изменению цвета кнопки Купить и одновременно тестируете новое описание продукта, то можете попасть в оба эксперимента и увидеть оба изменения, что может повлиять на результаты. Если вы хотите проводить эксперимент независимо, выберите необходимые эксперименты из списка.

Новый и исключенные эксперименты не будут пересекаться. Новый эксперимент также не будет влиять на результаты исключенных.

Сумма процентов (долей) аудиторий нового и исключенных экспериментов не может превышать 100%. Например, если аудитория нового эксперимента составляет 30%, то аудитории исключенных экспериментов могут быть не более 70%, чтобы в сумме составить 100%.

Выбор метрик

Выберите основную метрику, по которой будете принимать решение об успешности эксперимента. Также можно выбрать до 10 дополнительных метрик для расширенного анализа (опция доступна для платных тарифов AppMetrica).

Для некоторых метрик доступны расширенные настройки. Можно указать дополнительные параметры в поле ввода с параметрами, для этого введите название параметра и нажмите Enter. Общая длина каждого из параметров в событии не должна превышать 50 символов.

Название метрики	Расширенные настройки
Конверсия из события в событие...	Возможность указать до 5 уровней параметров для каждого события.
Пошаговая конверсия из события в событие...
Конверсия в событие...	Возможность указать до 5 уровней параметров для каждого события. Возможность создать до 5 отдельных условий. Каждое условие может содержать до 5 параметров. Условия можно комбинировать между собой с помощью логических операторов AND/OR. Примечание Поддержка до 5 условий, объединенных операторами AND/OR доступна только в тарифе «Pro». В тарифе «Базовый» доступно только одно условие, без логических операторов.

Выбранные метрики будут доступны в отчете по результатам эксперимента.

Настройка экспериментального варианта

Вы можете настроить несколько вариантов, которые будут использоваться в эксперименте. В качестве контрольного варианта может выступать ваше приложение без изменений, а также вы можете настроить изменения в контрольном варианте.

Экспериментальные изменения в контрольном и экспериментальном варианте настраиваются с помощью флагов. При этом вносить изменения в само приложение не нужно. Флаги принимают тип значения String.

1. Выберите блок варианта, изменения для которого нужно будет применить в эксперименте.
2. Задайте флаги с измененными параметрами.

Калькулятор выборок

С помощью калькулятора выборок вы можете оценить, будет ли результат эксперимента статистически значимым при данном объеме аудитории.

Калькулятор рассчитывает MDE, который показывает наименьшее значимое изменение метрики. По нему можно определить, насколько маленькие изменения удастся зафиксировать в эксперименте при текущих данных с заданными уровнями ошибок. Если показатель низкий, то можно увидеть изменения метрик даже на незначительный процент. Чтобы уменьшить MDE, увеличьте выборку или время проведения эксперимента. Если показатель высокий, то будут заметны только значительные изменения. Такой эксперимент можно провести на небольшой аудитории.

Заполните поля калькулятора так, чтобы они соответствовали информации о вашем эксперименте:

• Всего пользователей в месяц — здесь нужно учесть условия эксперимента, но не размер выборки — последнее нужно указать в блоке Доля аудитории. Чтобы вычислить значение этого поля, воспользуйтесь данными из AppMetrica.

• Продолжительность — длительность эксперимента в днях, соотносится с полем Период показа.

• Доля аудитории — размер выборки, соотносится с полем Доля аудитории.

• Вариантов — количество вариантов в эксперименте, может принимать значения от 2 до 26.

• Конверсия метрики — процент пользователей, совершивших целевое действие в контрольном варианте. Целевое действие зависит от метрики. Если вы хотите получить статистически значимые результаты для всех метрик, то укажите здесь минимальную конверсию.

Границы детектируемого эффекта позволяют увидеть, какие показатели будут значимы статистически. Значимы будут те, которые лежат вне этих границ: меньше красной и больше зеленой. Показатели в диапазоне между ними могут быть случайным отклонением от конверсии контрольного варианта. Если этот диапазон слишком большой и вас интересуют менее выраженные изменения метрик, попробуйте изменить условия эксперимента.

Запуск эксперимента

Чтобы запустить эксперимент, нажмите Сохранить и запустить. Ознакомьтесь с краткой информацией об эксперименте и нажмите Запустить, если вас все устраивает.

Когда эксперимент будет запущен, на вкладке A/B эксперименты будет возможность посмотреть предварительный отчет.

Проверка изменений

Вы можете проверить, как применились заданные изменения, на нескольких устройствах. Для этого:

1. Убедитесь, что на устройстве установлен SDK Varioqub.
2. С помощью SDK получите ID устройства:
   • для Android используйте метод Varioqub.getId ();
   • для iOS — VarioqubFacade.shared.varioqubId.
3. Укажите полученный ID в блоке Проверка эксперимента и нажмите Активировать. Изменения станут доступны спустя некоторое время.

Деактивация происходит автоматически через сутки после активации. Вы можете самостоятельно деактивировать идентификатор.

Minimum Detectable Effect — минимальный обнаруживаемый эффект.