Мы сделали игру для путешественников и эрудитов — в ней нужно угадывать страны по фотографиям, загруженным пользователями на Яндекс.Карты. Если у вас дежавю, то это потому, что весной мы делали похожую игру, только про российские города. Наши коллеги, успевшие поиграть в новую версию, говорят, что она получилась проще и интереснее. Отличить Италию от Исландии легче, чем Курск от Воронежа.
Как и в игре про российские города, в угадывании стран с вами будет состязаться Алиса. Посоревноваться с людьми, кстати, тоже можно: на последнем экране есть кнопка «Бросить вызов друзьям».
В прошлый раз мы уже рассказывали, как Алиса узнаёт города. Со странами всё работает точно так же. Если вкратце, мы взяли фотографии с Яндекс.Карт и разделили их на две группы. Фото из первой группы показали нейросети, сообщая, где был сделан каждый снимок. Просмотрев тысячи фотографий, нейросеть составила представление о каждой из стран — то есть самостоятельно выделила комбинации признаков, по которым можно узнать страну. Вторую группу снимков мы используем в игре, их Алиса не видела и в процессе игры не запоминает.
Как угадывают люди, более или менее понятно: они узнают места, которые видели в путешествиях или в кино, полагаются на общую эрудицию и здравый смысл. У нейросети ничего этого нет. Нам стало интересно увидеть, какие детали на снимках подсказывают ей ответ. Чтобы найти их, мы выделили самые информативные для нейросети области снимков. Для этого мы разрезали фото на мелкие квадратики и повторили процесс обучения — теперь уже на этих фрагментах. Потом нейросети показали кусочки фото, которые она не видела. В большинстве случаев она промахивалась, но некоторые фрагменты с уверенностью опознавала.
Когда мы знаем, в каких частях кадра содержится информация, которая имеет определяющее значение для нейросети, можно посмотреть, что на них попало. Например, Нидерланды нейросеть узнаёт по сочетанию тёмных кирпичных стен и белых контуров окон. Иран — по характерным аркам и орнаментам на фасадах.
Алиса играет очень хорошо, но у вас есть преимущество: мы не обучали нейросеть распознавать номера машин, тексты вывесок и указателей, флаги государств. И, само собой, чтобы всё было честно, запретили Алисе подглядывать в базу Яндекс.Картинок и искать там похожие снимки.