A/B-тесты версий

Чтобы узнать, как игроки отреагируют на обновления в игре, проведите A/B-эксперимент. Для этого через Консоль разработчика добавьте новую сборку игры. Укажите процент аудитории и продолжительность эксперимента. Когда тестирование закончится, сравните метрики экспериментальной сборки с показателями основной версии игры и решите, стоит ли обновлять приложение.

Важно

Запустить эксперимент можно, только если игра уже опубликована.

Если на тестирование повлияет что-то еще, то его результаты будут недостоверными. Чтобы избежать этого, не публикуйте параллельно с экспериментом новые версии игры и не проводите другие А/B-тесты.

Чтобы изучить, как влияют на показатели игры более мелкие изменения, проведите A/B-эксперимент с флагами.

Шаг 1. Подготовка

Подготовьте новую, экспериментальную сборку. Она должна соответствовать требованиям платформы и материалам черновика.

Добавьте архив через Консоль Яндекс Игр:

  1. Выберите нужную игру.

  2. Перейдите на вкладку A/B-тесты версий.

  3. Нажмите Запустить A/B-тестирование.

  4. Заполните поля Название эксперимента и Что изменилось. Опишите, чем новая сборка отличается от основной версии игры, — эта информация поможет модерации быстрее проверить сборку.

  5. Выберите нужные значения в полях Аудитория и Продолжительность.

  6. Нажмите Выбрать файл и загрузите архив с экспериментальной сборкой игры.

  7. Нажмите Отправить заявку. При необходимости воспользуйтесь опцией Редактировать заявку.

  8. Дождитесь проверки билда. Примерно через 5 минут обновите страницу:

    • Если билд не содержит технических ошибок, в верхней части экрана появится уведомление Версия прошла проверку.
    • Если проверка не пройдена, нажмите Вернуться к заявке, исправьте билд и загрузите его заново.

  9. Нажмите Отправить на модерацию.

Шаг 2. Модерация

Примечание

Отозвать заявку с модерации можно в течении первых 2 часов.

В течение 3–5 дней результаты модерации появятся на вкладке A/B-тесты версий в верхней части страницы:

Эксперимент запустился автоматически: выбранный процент пользователей начал видеть новую, экспериментальную версию игры, остальные продолжили видеть обычную.

Модерация отклонила новую сборку, так как внесенные в игру изменения нарушают требования. На почту, указанную в Яндекс ID, придет письмо от модерации, в нем будут указаны конкретные причины отказа со ссылками на нарушенные пункты требований. Модерация приложит файлы с записью или скриншотами нарушений.

Перед тем, как повторно отправить сборку на проверку:

  • Если к нарушенным требованиям есть пояснения или методики проверки, ознакомьтесь с ними.
  • Внесите изменения в игру.
  • Еще раз внимательно проверьте игру на соответствие требованиям, которые были нарушены в прошлый раз.
  • По возможности протестируйте игру с устройств, похожих на те, с которых проводилась модерация. Модели этих девайсов будут указаны в уведомлениях.

Количество попыток не ограничено, но время ожидания перед повторной отправкой на модерацию увеличивается на сутки после каждого отклонения.

Если у вас возникли вопросы — обратитесь к службе поддержки.

Шаг 3. Запуск

После запуска эксперимента на вкладке A/B-тесты версий появятся данные о тестировании: дата запуска эксперимента и дата, когда он автоматически завершится. Первые результаты тестирования появятся через несколько дней, они будут отображены в графиках и таблицах.

Для сравнения сборок используются метрики:

Метрика

Описание

Время играния на игрока

Среднее время в минутах, которое игрок провел за один день в игре.

Конверсия в игровую сессию

Доля игровых сессий, которые длятся более 60 секунд.

Показы interstitial на игрока

Среднее количество показов полноэкранных блоков на игрока в день.

Показы rewarded на игрока

Среднее количество показов блоков с вознаграждением на игрока в день.

Разница РСЯ дохода*

Разница выручки РСЯ в тестовом и контрольном вариантах, в процентах от выручки в контрольном варианте.

Количество in-app покупок на игрока

Среднее количество инап-покупок на игрока в день.

Доля платящих пользователей*

Доля платящих пользователей от дневной аудитории приложения, отображена в процентах.

In-App доход на игрока*

Выручка от инап-покупок на игрока в день, в рублях.

* Просмотр метрики доступен только для владельца игры и разработчиков с ролью Просмотр дохода.

Если метрики окрашены:

  • зеленым — результат положительный и статистически значимый;
  • красным — результат негативный и статистически значимый.

Если метрики никак не окрашены, нельзя однозначно судить, влияет ли эксперимент на пользователя.

Важно

Чтобы получить статистически значимые результаты об активности игроков, эксперимент должен продолжаться хотя бы неделю.

Отсчет времени начнется после проверки модератором. Эксперимент автоматически завершится спустя время, которое вы выбрали в поле Продолжительность. Чтобы досрочно закончить его, нажмите Остановить → Да, остановить.

Шаг 4. Итоги

После завершения эксперимента нажмите:

  • Опубликовать, чтобы сделать новую сборку основной. Повторно проходить модерацию не нужно.
  • Не публиковать, чтобы завершить эксперимент и перестать показывать пользователям экспериментальную сборку.

После принятия решения нажмите Закрыть.

Так как на поведение пользователей повлияет несколько факторов, нельзя будет определить роль изначально тестируемых изменений.

Новый билд должен соответствовать указанным в черновике жанру, возрастному ограничению, тегам и промоматериалам.

Возможные варианты:

  • 10% (5%/5%);
  • 20% (10%/10%);
  • 50% (25%/25%);
  • 100% (50%/50%).

Возможные варианты:

  • 7 дней;
  • 14 дней;
  • 21 день;
  • 28 дней.

ZIP-архив должен:

  • весить не более 100 МБ;
  • содержать только один файл index.html.

С вероятностью 95% улучшение метрики связано с изменениями в новой сборке.

С вероятностью 95% ухудшение метрики связано с изменениями в новой сборке.

Предыдущая
Выпуск обновлений
Следующая
Флаги