--- metadata: - name: generator content: Diplodoc Platform v5.52.0 alternate: - https://yandex.ru/dev/games/doc/en/console/ab-builds.md - https://yandex.ru/dev/games/doc/hi/console/ab-builds.md - https://yandex.ru/dev/games/doc/ko/console/ab-builds.md - https://yandex.ru/dev/games/doc/ru/console/ab-builds.md - https://yandex.ru/dev/games/doc/tr/console/ab-builds.md - https://yandex.ru/dev/games/doc/vi/console/ab-builds.md - https://yandex.ru/dev/games/doc/zh/console/ab-builds.md - href: ru/console/ab-builds.md type: text/markdown title: Markdown version - href: ../llms.txt type: text/markdown title: llms.txt --- > **Documentation Index:** Fetch the complete configuration index at https://yandex.ru/dev/games/doc/ru/llms.txt # A/B-тесты версий Чтобы узнать, как игроки отреагируют на обновления в игре, проведите A/B-эксперимент. Для этого через Консоль разработчика [добавьте](#preparation) новую сборку игры. Укажите процент аудитории и продолжительность эксперимента. Когда тестирование закончится, сравните [метрики](#launch) экспериментальной сборки с показателями основной версии игры и решите, стоит ли обновлять приложение. {% note warning %} Запустить эксперимент можно, только если игра уже опубликована. Если на тестирование повлияет что-то еще, то его результаты будут [недостоверными](*experiment). Чтобы избежать этого, не публикуйте параллельно с экспериментом новые версии игры и не проводите другие А/B-тесты. {% endnote %} Чтобы изучить, как влияют на показатели игры более мелкие изменения, проведите [A/B-эксперимент с флагами](https://yandex.ru/dev/games/doc/ru/console/vq-test.md). ## Шаг 1. Подготовка {#preparation} Подготовьте новую, экспериментальную сборку. Она должна соответствовать [требованиям платформы](https://yandex.ru/dev/games/doc/ru/concepts/requirements.md) и [материалам черновика](*draft). Добавьте архив через [Консоль Яндекс Игр](https://games.yandex.ru/console){.external}: 1. Выберите нужную игру. 1. Перейдите на вкладку **A/B-тесты версий**. 1. Нажмите **Запустить A/B-тестирование**. 1. Заполните поля **Название эксперимента** и **Что изменилось**. Опишите, чем новая сборка отличается от основной версии игры, — эта информация поможет модерации быстрее проверить сборку. 1. Выберите нужные значения в полях [Аудитория](*audience) и [Продолжительность](*duration). 1. Нажмите **Выбрать файл** и загрузите [архив](*archive) с экспериментальной сборкой игры. 1. Нажмите **Отправить заявку**. При необходимости воспользуйтесь опцией **Редактировать заявку**. 1. Дождитесь проверки билда. Примерно через 5 минут обновите страницу: - Если билд не содержит технических ошибок, в верхней части экрана появится уведомление **Версия прошла проверку**. - Если проверка не пройдена, нажмите **Вернуться к заявке**, исправьте билд и загрузите его заново. 1. Нажмите **Отправить на модерацию**. {% note warning %} Единовременно может проходить только одна модерация: [черновика](https://yandex.ru/dev/games/doc/ru/console/add-new-game.md#step-moderation-game), [A/B-теста креативов](https://yandex.ru/dev/games/doc/ru/concepts/ab-test.md#submit-for-moderation) или A/B-теста версий. Пока идет проверка сборки для A/B-теста, другие типы модерации будут недоступны. {% endnote %} ## Шаг 2. Модерация {#moderation} {% note info %} Отозвать заявку с модерации можно в течении первых 2 часов. {% endnote %} В течение 3–5 дней результаты модерации появятся на вкладке **A/B-тесты версий** в верхней части страницы: {% list tabs %} - Вы запустили A/B-тест Эксперимент запустился автоматически: выбранный процент пользователей начал видеть новую, экспериментальную версию игры, остальные продолжили видеть обычную. - Версия не прошла модерацию Модерация отклонила новую сборку, так как внесенные в игру изменения нарушают [требования](https://yandex.ru/dev/games/doc/ru/concepts/requirements.md). На почту, указанную в Яндекс ID, придет письмо от модерации, в нем будут указаны конкретные причины отказа со ссылками на нарушенные пункты Требований к игре. Модерация приложит файлы с записью или скриншотами нарушений. Перед тем как повторно отправить игру на проверку: - Если к нарушенным требованиям есть пояснения или методики проверки, ознакомьтесь с ними. - Внесите изменения в игру. - Еще раз внимательно проверьте игру на соответствие требованиям, которые были нарушены в прошлый раз. - По возможности протестируйте игру с устройств, похожих на те, с которых проводилась модерация. Модели этих девайсов будут указаны в уведомлениях. Если у вас возникли вопросы по замечаниям к релизу — напишите в [поддержку](https://yandex.ru/chat/#/user/774df508-c12d-9d6e-6a27-5e3fc522016a){.external}. Количество попыток не ограничено, но время ожидания перед повторной отправкой на модерацию увеличивается вдвое после каждого отклонения. Максимальное время ожидания — 384 часа (16 дней).
Отозвать черновик можно в течение 2 часов после отправки на модерацию. Время ожидания перед повторной отправкой на модерацию: - После 1-го отклонения — 24 часа. - После 2-го отклонения — 2 дня. - После 3-го отклонения — 4 дня. - После 4-го отклонения — 8 дней. - После 5-го отклонения — 16 дней.
![SVG](../_images/moderation/cooldown.svg) {% endlist %} ## Шаг 3. Запуск {#launch} После запуска эксперимента на вкладке **A/B-тесты версий** появятся данные о тестировании: дата запуска эксперимента и дата, когда он автоматически завершится. Первые результаты тестирования появятся через несколько дней, они будут отображены в графиках и таблицах. Для сравнения сборок используются метрики: #| || **Метрика** | **Описание** || || **Время играния на игрока** | Среднее время в минутах, которое игрок провел за один день в игре. || || **Конверсия в игровую сессию** | Доля игровых сессий, которые длятся более 60 секунд. || || **Показы interstitial на игрока** | Среднее количество показов [полноэкранных блоков](https://yandex.ru/dev/games/doc/ru/console/adv-monetization.md#interstitial) на игрока в день. || || **Показы rewarded на игрока** | Среднее количество показов [блоков с вознаграждением](https://yandex.ru/dev/games/doc/ru/console/adv-monetization.md#rewarded) на игрока в день. || || **Разница РСЯ дохода*** | Разница выручки РСЯ в тестовом и контрольном вариантах, в процентах от выручки в контрольном варианте. || || **Количество in-app покупок на игрока** | Среднее количество [инап-покупок](https://yandex.ru/dev/games/doc/ru/console/purchases.md) на игрока в день. || || **Доля платящих пользователей*** | Доля платящих пользователей от дневной аудитории приложения, отображена в процентах. || || **In-App доход на игрока*** | Выручка от инап-покупок на игрока в день, в рублях. || |# * Просмотр метрики доступен только для владельца игры и разработчиков с ролью **Просмотр дохода**. Если метрики окрашены: - зеленым — результат положительный и [статистически значимый](*positive); - красным — результат негативный и [статистически значимый](*negative). Если метрики никак не окрашены, нельзя однозначно судить, влияет ли эксперимент на пользователя. {% note warning %} Чтобы получить статистически значимые результаты об активности игроков, эксперимент должен продолжаться хотя бы неделю. {% endnote %} Отсчет времени начнется после проверки модерацией. Эксперимент автоматически завершится спустя время, которое вы выбрали в поле **Продолжительность**. Чтобы досрочно закончить его, нажмите **Остановить** → **Да, остановить**. ## Шаг 4. Итоги {#results} После завершения эксперимента нажмите: - **Опубликовать**, чтобы сделать новую сборку основной. Повторно проходить модерацию не нужно. - **Не публиковать**, чтобы завершить эксперимент и перестать показывать пользователям экспериментальную сборку. После принятия решения нажмите **Закрыть**. [*experiment]: Так как на поведение пользователей повлияет несколько факторов, нельзя будет определить роль изначально тестируемых изменений. [*draft]: Новый билд должен соответствовать указанным в черновике жанру, возрастному ограничению, тегам и промоматериалам. [*audience]: Возможные варианты: - 10% (5%/5%); - 20% (10%/10%); - 50% (25%/25%); - 100% (50%/50%). [*duration]: Возможные варианты: - 7 дней; - 14 дней; - 21 день; - 28 дней. [*archive]: ZIP-архив должен: - весить не более 100 МБ; - содержать только один файл `index.html`. [*positive]: С вероятностью 95% улучшение метрики связано с изменениями в новой сборке. [*negative]: С вероятностью 95% ухудшение метрики связано с изменениями в новой сборке.