Алиса, ты только посмотри

Алису принято считать голосовым помощником: она слушает голос, распознаёт слова и делает то, о чём её просят. На самом деле Алиса наделена не только слухом, но и зрением — она может видеть мир через объектив смартфона или планшета.

У Алисы есть собственное фотоприложение. Мы называем его умной камерой. Отдельная камера необходима, потому что фотографии Алиса воспринимает по-особенному. Для неё это не просто картинки, а руководство к действию. Алиса изучает, что изображено на снимке, и реагирует сообразно сюжету. В этом посте мы расскажем, какие задачи Алиса может решать с помощью фото.

Распознавание объектов


Представьте, что вы увидели что-то, что привлекло ваше внимание: необычный автомобиль, красивое растение, забавную собаку. Чтобы узнать про них подробнее, надо понять, как они правильно называются. Можно попытаться описать объекты словами в надежде, что разбирающийся человек вас поймёт: «собака с мордой, похожей на хризантему» или «растение с мелкими бело-розовыми цветками и листьями с каёмочкой, пахнет очень вкусно». А можно сделать фото и показать Алисе — она подскажет название.

Распознавание и озвучивание текста


Камера смартфона заменила ручку и блокнот: нужную информацию мы фотографируем, а не переписываем на листочек. Со снимками, где есть буквы, Алиса обращается особым образом. Во-первых, она умеет распознавать печатный текст — преобразует картинку в символы, которые можно вставить в текстовый редактор или переслать в письме. Если на фото телефонный номер, Алиса предложит набрать его, а если ссылка — открыть её в браузере. Во-вторых, она может озвучить написанное. Эта функция пригодится тем, кому тяжело разбирать мелкие буквы: например, детям или людям с слабым зрением.

Перевод


Чтобы не заблудиться в зарубежной поездке, нужно внимательно читать вывески и указатели. Сложно, если они не продублированы хотя бы на английском — и совсем тяжело, если в стране используется письмо, отличное от латиницы или кириллицы. Если вы оказались в Грузии и никак не можете запомнить, что ა — это «a», а ო — это «o», сфотографируйте текст, и Алиса покажет перевод. Таким способом можно переводить меню в кафе и ресторанах, таблички в музеях, бланки билетов и вообще любые тексты, которые могут встретиться туристу.

Сканирование


Если вам нужно срочно получить копию документа, а под рукой нет сканера, скажите «Алиса, сделай скан» — и сфотографируйте лист. Алиса обработает снимок: отрежет всё лишнее и подкрутит яркость с контрастностью — так, чтобы белое стало белым, чёрное чёрным, а текст был хорошо различим.

Поиск товаров


Желание что-то купить не всегда настигает нас в магазине. Бывает, придёшь к кому-нибудь в гости — а там принтер, который пригодился бы и дома. А на хозяине — рубашка, которая неплохо смотрелась бы и на вас. Алиса и здесь придёт на помощь: сделайте снимок вещи, и она отыщет такую же или очень похожую на Яндекс.Маркете. Вы сразу узнаете цену и получите список мест, где продаётся товар. Например, одежду Алиса ищет в 116 тысячах интернет-магазинов, среди которых — «Ламода», «Асос» и «КупиВип».

Умная камера доступна в мобильных приложениях с Алисой: это Яндекс, Браузер и Лончер. Чтобы включить камеру, скажите: «Алиса, сделай фото» или «Алиса, что на этой фотографии?». Алиса может работать и со снимками, сделанными давно, — достаточно выбрать нужное фото в галерее телефона или планшета.

10 комментариев
Ну здорово чё .. молодцы
gurov@gurovagency.com
10 февраля 2020, 22:59
все это уже давно реализовано у гугла
Света Чистякова
Сотрудник Яндекса11 февраля 2020, 16:51
Какие-то из возможностей (например, распознавание объектов на фото) были уже давно. Какие-то появились совсем недавно — скажем, сканер.
gurov@gurovagency.com,
т.е. если у гугла уже реализовано, то никому делать не надо?
Света Чистякова,
научите Алису читать pdf файлы. Хочется послушать аудиокнижку.
Денис Демидов
7 августа 2020, 02:59
Вообще интересно конечно но что будет если она увидет то чего раньше не видела?  такое же тоже может быть. то есть она  куда потащит если этого нет в поиски?
Денис Демидов,
вы намекаете на загрузку своих интимных фото? :-(
Евгений Гордеев
17 декабря 2020, 17:05
Спасибо, интересные умения! :-)
а может Алиса ОПИСАТЬ картинку?