--- metadata: - name: generator content: Diplodoc Platform v5.52.0 alternate: - https://yandex.ru/dev/games/doc/en/concepts/ab-test.md - https://yandex.ru/dev/games/doc/hi/concepts/ab-test.md - https://yandex.ru/dev/games/doc/ko/concepts/ab-test.md - https://yandex.ru/dev/games/doc/ru/concepts/ab-test.md - https://yandex.ru/dev/games/doc/tr/concepts/ab-test.md - https://yandex.ru/dev/games/doc/vi/concepts/ab-test.md - https://yandex.ru/dev/games/doc/zh/concepts/ab-test.md - href: ru/concepts/ab-test.md type: text/markdown title: Markdown version - href: ../llms.txt type: text/markdown title: llms.txt --- > **Documentation Index:** Fetch the complete configuration index at https://yandex.ru/dev/games/doc/ru/llms.txt # A/B-тест иконок {% note warning %} Раздел с А/B-тестами появляется только у опубликованных игр. {% endnote %} Иконка и обложка могут сильно влиять на запуск вашей игры из каталога. Хорошо подобранные креативные элементы привлекают больше игроков в вашу игру. Чтобы понять, какие иконка и обложка лучше подходят для вашего проекта, запустите A/B-тест для двух вариантов материалов. Пользователи каталога автоматически разделятся на две группы: - 50% пользователей увидят материалы из контрольной группы; - 50% пользователей увидят материалы из экспериментальной группы. Через несколько дней на вкладке **A/B-тест иконок** [Консоли Яндекс Игр](https://games.yandex.ru/console){.external} вы увидите предварительные данные по влиянию иконки и обложки на конверсию пользователей каталога и на продуктовые метрики игры. {% note info %} Для тестирования на различной аудитории предусмотрены три вида заявок: - Вся аудитория — позволяет протестировать креативы для всех языков черновика и на всей аудитории каталога. Доступно принятие эксперимента на часть аудитории. Рекомендуемый вариант с точки зрения гибкости и полноты. - Русскоязычная аудитория — экспериментальные креативы увидят пользователи только с русскоязычным интерфейсом браузера. - Международная аудитория — позволяет протестировать креативы для всех языков черновика, кроме русского. В каталоге приблизительно 40% международной аудитории. {% endnote %} ## Запуск A/B-теста {#run} ### Шаг 1. Подготовьте промоматериалы {#prepare-materials} Подготовьте новые иконку и обложку и проверьте их на соответствие [пункту 8.3](https://yandex.ru/dev/games/doc/ru/concepts/requirements.md#8-3) Требований к игре. ### Шаг 2. Создайте заявку {#create-request} 1. Откройте [Консоль Яндекс Игр](https://games.yandex.ru/console){.external}. 1. Выберите нужную игру. 1. Перейдите на вкладку **A/B-тест иконок**. 1. Выберите аудиторию, на которую хотите завести заявку. {% note tip %} Тест на всю аудиторию — рекомендуемый гибкий способ тестирования креативов. {% endnote %} 1. Нажмите **Перейти к заявке**. ### Шаг 3. Загрузите файлы {#upload-files} Нажмите **Загрузить**, чтобы приложить экспериментальные иконку и обложку. Если вы тестируете креативы сразу для нескольких языков и планируете использовать одинаковые изображения, вы можете ускорить загрузку файлов с помощью опции ![SVG](../_images/icons/toggle.svg) **Применить иконку и обложку для остальных языков** (по умолчанию она включена): 1. Загрузите иконку и обложку у верхнего варианта. Они автоматически применятся ко всем языкам. 1. При необходимости измените иконки и обложки для конкретных языков отдельно. ### Шаг 4. Отправьте игру на модерацию {#submit-for-moderation} {% note warning %} Единовременно может проходить только одна модерация: [черновика](https://yandex.ru/dev/games/doc/ru/console/add-new-game.md#step-moderation-game), A/B-теста креативов или [A/B-теста версий](https://yandex.ru/dev/games/doc/ru/console/ab-builds.md#moderation). Пока идет проверка креативов для A/B-теста, другие типы модерации будут недоступны. {% endnote %} Нажмите **Отправить на модерацию**. В первые 15 минут заявку можно отозвать. ## Работа с результатами {#results} Чтобы посмотреть результаты A/B-теста: 1. Откройте [Консоль Яндекс Игр](https://games.yandex.ru/console){.external}. 1. Выберите нужную игру. 1. Перейдите на вкладку **A/B-тест иконок**. {% note warning %} Ограничение по времени эксперимента — 14 дней. {% endnote %} Вверху страницы отображается дата запуска эксперимента и дата, когда он автоматически завершится. Первые результаты тестирования появятся через несколько дней. Чтобы получить статистически значимые результаты, держите эксперимент не менее недели. ### Метрики {#metrics} Для сравнения креативов используются [метрики](https://yandex.ru/dev/games/doc/ru/concepts/metric.md): #| || **Метрика** | **Описание** || || **CTR иконки в рекомендациях** | Суммарное количество кликов к числу показов иконки в каталоге и подборках. || || **CTR обложки в рекомендациях** | Суммарное количество кликов к числу показов обложки в каталоге и подборках. || || **CTR иконки в блоке «Мои игры»** | Суммарное количество кликов к числу показов иконки в блоке **Мои игры**. || || **Конверсия в игровую сессию** | Доля игровых сессий, которые длятся более 60 секунд. || || **Сумма DAU** | Суммарное количество активных игроков за каждый день выбранного периода. Например, игрок, заходивший два дня подряд, будет учтен два раза. || || **Время играния на игрока** | Среднее время в минутах, которое игрок провел за один день в игре. || || **Время играния** | Суммарное количество минут в день, которое игроки провели в игре. || || **Доход от РСЯ, %** | Процент дохода, полученного от размещения рекламы в Рекламной сети Яндекса относительно общей выручки. || || **Инап-покупки** | Количество инап-покупок за время эксперимента. || || **Инап-выручка, руб.** | Доход от инап-покупок за время эксперимента. || |# {% note info %} Метрики считаются только по игрокам, которые перешли в игру через креативы в каталоге. Это позволяет понять, какой креатив лучше привлекает новую аудиторию. {% endnote %} Если метрики окрашены: - зеленым — результат положительный и [статистически значимый](*positive); - красным — результат негативный и [статистически значимый](*negative). Если метрики никак не окрашены, нельзя однозначно судить, влияет ли эксперимент на пользователя. ## Принятие решения {#decision-making} {% note warning %} Для статистически значимых результатов необходимо держать эксперимент не менее 7 дней, чтобы учесть изменения активности игроков в течение недели. Если тест длится больше недели, можно приступать к принятию решения по эксперименту. {% endnote %} 1. Откройте [Консоль Яндекс Игр](https://games.yandex.ru/console){.external}. 1. Выберите нужную игру. 1. Перейдите на вкладку **A/B-тест иконок**. 1. Изучите метрики тестирования и примите решение в зависимости от цвета метрик: - зеленый — нажмите **Принять эксперимент**, чтобы использовать экспериментальные иконки и обложки в качестве основных; {% note info %} Вы можете выбрать, для какой аудитории применить эксперимент, в зависимости от его результатов. Например, если метрики снижаются на русскоязычных игроках, но не международных, используйте экспериментальные креативы только для международной аудитории. При этом дополнительно обновлять черновик не нужно. {% endnote %} - красный — нажмите **Остановить**, чтобы прервать эксперимент. Тестирование автоматически завершится спустя 14 дней. {% note tip %} Время от времени повторно тестируйте креативы, чтобы отслеживать изменения в предпочтениях пользователей, рыночные тренды и сезонные колебания. Вы можете сравнивать контрольный и экспериментальный варианты спустя время. Для этого откройте завершенный A/B-тест в блоке **История тестов**. {% endnote %} ## Частые вопросы {#faq} {% cut "**После запуска A/B-теста лучше следить за продуктовыми метриками или достаточно CTR?**" %} {#after-test-observation} Лучше следить за продуктовыми метриками. Пример: шахматная игра с иконкой и обложкой c шахматами. Разработчик в A/B-тесте заменил их на игральные карты и пасьянсы. Аудитория пасьянсов выше, поэтому разработчик получит больше кликов и CTR вырастет, а продуктовые метрики нет, потому что обложка не соответствует содержанию. {% endcut %} {% cut "**Можно ли одновременно запустить A/B-тест и выпустить новую версию игры?**" %} {#test-and-update} Можно, но с ограничением: в новой версии нельзя менять иконку и обложку, так как они участвуют в A/B-тесте. Однако учитывайте, что экспериментальные креативы и изменения в игре могут повлиять на одни и те же метрики. Если вы обновите игру во время A/B-теста, результаты станут неоднозначными. Для чистоты эксперимента лучше дождаться завершения A/B-теста перед выпуском значительных обновлений. {% endcut %} {% cut "**Почему после запуска A/B-теста метрики улучшились, но они не подсвечены зеленым?**" %} {#no-green} Это значит, что повышение метрик не может быть признано статистически значимым, потому что набранных данных пока мало. Такие изменения метрик пока могут быть не связаны с экспериментом. {% endcut %} {% cut "**Могу ли я принять эксперимент, если результаты 10 экспериментов не окрасились цветом, а в следующем A/B-тесте метрики подсветились зеленым?**" %} {#color-difference} Система оценки дает до 95% вероятности, что эти значения не случайны. Если вы провели 11 похожих экспериментов и только один из них подсветился зеленым, это может быть случайностью. Чтобы убедиться в надежности полученных данных, лучше повторить успешный эксперимент. Если он снова покажет такое же улучшение, вероятность успеха гораздо выше. {% endcut %} {% cut "**Результаты A/B-теста не окрашены, изменений не произошло?**" %} {#no-color} Возможно. Но может быть, что для оценки результатов текущего объема информации недостаточно. {% endcut %} {% cut "**Как рассчитывается средний CTR между русскоязычными и международными игроками?**" %} {#ctr} Общий CTR — это отношение суммы всех кликов к сумме всех показов, а не среднее арифметическое CTR по регионам. Например: если у международной обложки 1000 показов и 100 кликов (CTR 10%), а у РФ обложки 10 показов и 10 кликов (CTR 100%), то общий CTR будет (100 + 10) / (1000 + 10) ≈ 11%. {% endcut %} [*positive]: С вероятностью 95% улучшение метрики связано с изменением иконки или обложки. [*negative]: С вероятностью 95% ухудшение метрики связано с изменением иконки или обложки.