A/B-тест иконок

Иконка и обложка могут сильно влиять на запуск вашей игры из каталога. Хорошо подобранные креативные элементы привлекают больше игроков в вашу игру. Чтобы понять, какие иконка и обложка лучше подходят для вашего проекта, запустите A/B-тест для двух вариантов материалов. Пользователи каталога автоматически разделятся на две группы:

• 50% пользователей увидят материалы из контрольной группы;
• 50% пользователей увидят материалы из экспериментальной группы.

Через несколько дней на вкладке A/B-тест иконок консоли Яндекс Игр вы увидите предварительные данные по влиянию иконки и обложки на конверсию пользователей каталога и на продуктовые метрики игры.

Запуск A/B-теста

Шаг 1. Подготовьте промоматериалы

Подготовьте новые иконку и обложку и проверьте их на соответствие требованиям пункта 8.3.

Шаг 2. Создайте заявку

1. Откройте консоль Яндекс Игр.

2. Выберите нужную игру.

3. Перейдите на вкладку A/B-тест иконок.

4. Выберите аудиторию, на которую хотите завести заявку.

   Примечание

   Тест на всю аудиторию — рекомендуемый гибкий способ тестирования креативов.

5. Нажмите Перейти к заявке.

Шаг 3. Загрузите файлы

Нажмите Загрузить, чтобы приложить экспериментальные иконку и обложку.

Если вы тестируете креативы сразу для нескольких языков и планируете использовать одинаковые изображения, вы можете ускорить загрузку файлов с помощью опции Применить иконку и обложку для остальных языков (по умолчанию она включена):

1. Загрузите иконку и обложку у верхнего варианта. Они автоматически применятся ко всем языкам.
2. При необходимости измените иконки и обложки для конкретных языков отдельно.

Шаг 4. Отправьте игру на модерацию

Нажмите Отправить на модерацию.

Работа с результатами

Чтобы посмотреть результаты A/B-теста:

1. Откройте консоль Яндекс Игр.

2. Выберите нужную игру.

3. Перейдите на вкладку A/B-тест иконок.

Вверху страницы отображается дата запуска эксперимента и дата, когда он автоматически завершится.

Первые результаты тестирования появятся через несколько дней. Чтобы получить статистически значимые результаты, держите эксперимент не менее недели.

Для сравнения креативов используются метрики:

• CTR иконки в рекомендациях
• CTR обложки в рекомендациях
• CTR иконки в блоке «Мои игры»
• Игроки
• Время играния на игрока
• Время играния

Если метрики окрашены:

• серым — нельзя однозначно судить, влияет ли эксперимент на пользователя;
• зеленым — результат положительный и статистически значимый;
• красным — результат негативный и статистически значимый.

Принятие решения

1. Откройте консоль Яндекс Игр.

2. Выберите нужную игру.

3. Перейдите на вкладку A/B-тест иконок.

4. Изучите метрики тестирования и примите решение в зависимости от цвета метрик:

   • зеленый — нажмите Принять эксперимент, чтобы использовать экспериментальные иконки и обложки в качестве основных;

     Примечание

     Вы можете выбрать, для какой аудитории применить эксперимент, в зависимости от его результатов. Например, если метрики снижаются на русскоязычных игроках, но не международных, используйте экспериментальные креативы только для международной аудитории. При этом дополнительно обновлять черновик не нужно.

   • красный — нажмите Остановить, чтобы прервать эксперимент. Тестирование автоматически завершится спустя 14 дней.