A/B-тест иконок

Иконка и обложка могут сильно влиять на запуск вашей игры из каталога. Хорошо подобранные креативные элементы привлекают больше игроков в вашу игру. Чтобы понять, какие иконка и обложка лучше подходят для вашего проекта, запустите A/B-тест для двух вариантов материалов. Пользователи каталога автоматически разделятся на две группы:

• 50% пользователей увидят материалы из контрольной группы;
• 50% пользователей увидят материалы из экспериментальной группы.

Через несколько дней на вкладке A/B-тест иконок Консоли Яндекс Игр вы увидите предварительные данные по влиянию иконки и обложки на конверсию пользователей каталога и на продуктовые метрики игры.

Запуск A/B-теста

Шаг 1. Подготовьте промоматериалы

Подготовьте новые иконку и обложку и проверьте их на соответствие пункту 8.3 Требований к игре.

Шаг 2. Создайте заявку

1. Откройте Консоль Яндекс Игр.

2. Выберите нужную игру.

3. Перейдите на вкладку A/B-тест иконок.

4. Выберите аудиторию, на которую хотите завести заявку.

   Примечание

   Тест на всю аудиторию — рекомендуемый гибкий способ тестирования креативов.

5. Нажмите Перейти к заявке.

Шаг 3. Загрузите файлы

Нажмите Загрузить, чтобы приложить экспериментальные иконку и обложку.

Если вы тестируете креативы сразу для нескольких языков и планируете использовать одинаковые изображения, вы можете ускорить загрузку файлов с помощью опции Применить иконку и обложку для остальных языков (по умолчанию она включена):

1. Загрузите иконку и обложку у верхнего варианта. Они автоматически применятся ко всем языкам.
2. При необходимости измените иконки и обложки для конкретных языков отдельно.

Шаг 4. Отправьте игру на модерацию

Нажмите Отправить на модерацию.

Работа с результатами

Чтобы посмотреть результаты A/B-теста:

1. Откройте Консоль Яндекс Игр.

2. Выберите нужную игру.

3. Перейдите на вкладку A/B-тест иконок.

Вверху страницы отображается дата запуска эксперимента и дата, когда он автоматически завершится.

Первые результаты тестирования появятся через несколько дней. Чтобы получить статистически значимые результаты, держите эксперимент не менее недели.

Метрики

Для сравнения креативов используются метрики:

Метрика	Описание
CTR иконки в рекомендациях	Суммарное количество кликов к числу показов иконки в каталоге и подборках.
CTR обложки в рекомендациях	Суммарное количество кликов к числу показов обложки в каталоге и подборках.
CTR иконки в блоке «Мои игры»	Суммарное количество кликов к числу показов иконки в блоке Мои игры.
Конверсия в игровую сессию	Доля игровых сессий, которые длятся более 60 секунд.
Игроки	Суммарное количество уникальных игроков в день.
Время играния на игрока	Среднее время в минутах, которое игрок провел за один день в игре.
Время играния	Суммарное количество минут в день, которое игроки провели в игре.
Доход от РСЯ, %	Процент дохода, полученного от размещения рекламы в Рекламной сети Яндекса относительно общей выручки.
Инап-покупки	Количество инап-покупок за время эксперимента.
Инап-выручка, руб.	Доход от инап-покупок за время эксперимента.

Если метрики окрашены:

• зеленым — результат положительный и статистически значимый;
• красным — результат негативный и статистически значимый.

Если метрики никак не окрашены, нельзя однозначно судить, влияет ли эксперимент на пользователя.

Принятие решения

1. Откройте Консоль Яндекс Игр.

2. Выберите нужную игру.

3. Перейдите на вкладку A/B-тест иконок.

4. Изучите метрики тестирования и примите решение в зависимости от цвета метрик:

   • зеленый — нажмите Принять эксперимент, чтобы использовать экспериментальные иконки и обложки в качестве основных;

     Примечание

     Вы можете выбрать, для какой аудитории применить эксперимент, в зависимости от его результатов. Например, если метрики снижаются на русскоязычных игроках, но не международных, используйте экспериментальные креативы только для международной аудитории. При этом дополнительно обновлять черновик не нужно.

   • красный — нажмите Остановить, чтобы прервать эксперимент. Тестирование автоматически завершится спустя 14 дней.

Частые вопросы

После запуска A/B-теста лучше следить за продуктовыми метриками или достаточно CTR?

Лучше следить за продуктовыми метриками. Пример: шахматная игра с иконкой и обложкой c шахматами. Разработчик в A/B-тесте заменил их на игральные карты и пасьянсы. Аудитория пасьянсов выше, поэтому разработчик получит больше кликов и CTR вырастет, а продуктовые метрики нет, потому что обложка не соответствует содержанию.

Можно ли одновременно запустить A/B-тест и выпустить новую версию игры?

Обложки и иконки могут влиять на продуктовые метрики, понижая или повышая их. Во время A/B-теста они требуют внимания. Если вы выпустите новую версию игры, то нельзя будет разделить метрики новой версии и эксперимента. Поэтому для обновления игры нужно остановить эксперимент.

Почему после запуска A/B-теста метрики улучшились, но они не подсвечены зеленым?

Это значит, что повышение метрик не может быть признано статистически значимым, потому что набранных данных пока мало. Такие изменения метрик пока могут быть не связаны с экспериментом.

Могу ли я принять эксперимент, если результаты 10 экспериментов не окрасились цветом, а в следующем A/B-тесте метрики подсветились зеленым?

Система оценки дает до 90% вероятности, что эти значения не случайны. Если вы провели 11 похожих экспериментов и только один из них подсветился зеленым, это может быть случайностью. Чтобы убедиться в надежности полученных данных, лучше повторить успешный эксперимент. Если он снова покажет такое же улучшение, вероятность успеха гораздо выше.

Результаты A/B-теста не окрашены, изменений не произошло?

Возможно. Но может быть, что для оценки результатов текущего объема информации недостаточно.

С вероятностью 90% улучшение метрики связано с изменением иконки или обложки.

С вероятностью 90% ухудшение метрики связано с изменением иконки или обложки.